核心特性
HivePlus 基于 MR3 执行引擎构建。MR3 是一个分布式执行引擎,与 Apache MapReduce 和 Apache Tez 类似,但具有更简单的架构、更好的性能和更先进的功能。
MR3 引擎特性
MR3 作为执行引擎的突出能力:
- MR3Client - MR3 客户端
- DAGAppMaster and ContainerWorker Modes - DAGAppMaster 和 ContainerWorker 模式
- MR3Client Inside/Outside Kubernetes - K8s 内外 MR3Client
- ContainerGroup - 容器组
- Concurrent DAGs - 并发 DAG 执行
- DaemonTask - 后台任务
- DAG/Task Scheduling - DAG/任务调度
- Worker Scheduling - Worker 调度
- Fault Tolerance - 容错机制
- Speculative Execution - 推测执行
- Autoscaling - 自动弹性伸缩
- MR3 Shuffle Handler - Shuffle 处理器
- Managing Fetchers - Fetcher 管理
- Backpressure - 背压机制
- Eliminating Fetch Delays - 消除 Fetch 延迟
- Node Blacklisting - 节点黑名单
- Remote Shuffle Service - 远程 Shuffle 服务
HivePlus 产品特性
HivePlus 相比 Apache Hive 的独特增强:
- HiveServer2 Modes - HiveServer2 模式
- ContainerGroup Scheme - 容器组方案
- Auto Parallelism - 自动并行度
- LLAP I/O - LLAP I/O
- High Availability - 高可用性
- Recovery on Hadoop - Hadoop 恢复
- Recovery on Kubernetes - K8s 恢复
- Comparison with Hive-LLAP - 与 Hive-LLAP 对比