前言

前面已经介绍了HetuEngine是什么，本篇文章将带你了解HetuEngine常见的应用场景，与业务场景相结合，判断HetuEngine是否适应于业务场景。

HetuEngine常见应用场景

交互式查询场景

现状和挑战：

1. 查询慢：数据从入湖、Hive批加工，再搬迁到DWS进行交互式分析，整个链条数据消费时延长，对“反欺诈”、“实时风控”等高效应用存在不满足的情况；
2. 效率低：数据从Hadoop迁移到DWS是一个耗时的工作；
3. 成本高：两套集群、数据多次备份，构建成本相对较高；

HetuEngine交互式查询方案：

1. Hive加工完成后，HetuEngine就地实现交互式查询，数据“0”搬迁；
2. 资源基于YARN进行统一调度，夜间更多资源分配给跑批任务，白天适当多分配给交互式查询任务，资源利用率高、成本更低；
3. 支持多租户，多部门业务任务并行处理。

多数据源统一SQL查询场景

现状和挑战：

1. 跨源数据分析复杂：为满足不同的分析需求，当前不同的数据分散在Hive、HBase、ElasticSearch、ClickHouse等不同存储系统中； 各自存储系统接口不同，跨源的数据分析复杂；
2. 缺乏统一数据视图：数据分散到多库中，缺少统一的数据全景视图，不利于上层应用开发。

HetuEngine多源异构方案：

1. 跨源数据协同：HetuEngine支持HDFS、HBase、 ElasticSearch、ClickHouse等异构数据源的关联查询；
2. 统一SQL接口：异构跨源分析，采用统一SQL接口，降低应用开发复杂度，加速业务落地；
3. 全局元数据：统一集群数据视图，提升数据查找效率；

湖仓协同查询场景

现状和挑战：

1. 跨源数据分析复杂：现网已有数仓DWS，数据湖与数仓割裂，各自接口不同，跨源的数据分析复杂；
2. 缺乏统一数据视图：数据分散到多库中，缺少统一的数据全景视图，不利于上层应用开发。

HetuEngine湖仓一体方案：

1. 跨源数据协同：HetuEngine支持DWS与数据湖内Hive、HBase、 ElasticSearch、ClickHouse等异构数据源的关联查询，实现湖-仓的一体化分析，数据免搬迁；
2. 统一SQL接口：湖-仓关联分析采用统一SQL接口，降低应用开发复杂度，加速业务落地；
3. 全局元数据：统一集群数据视图，提升数据查找效率；

跨域协同数据分析场景

现状和挑战：

1. 跨地域数据分析复杂：需要搬运数据，受限于网络条件等因素，工程复杂，数据分析时效性差；
2. 受限法规无法搬运数据：部分场景因两地法规不同，不允许搬运数据，导致跨地域数据分析难以实施。

HetuEngine跨域协同方案：

1. 跨地域数据协同分析：HetuEngine支持跨多个地域的数据协同分析，数据免搬迁；
2. 统一SQL接口：跨域分析采用统一SQL接口，降低应用开发复杂度，加速业务落地；
3. 全局元数据：统一多个数据湖的数据视图，提升数据查找效率；

HetuEngine案例

金融数据湖探索

业务挑战：

1. 数据湖积累了全量数据，使用SAS、BI等分析工具对接Hive/Spark，难以高效分析湖内数据，数据难以快速变现（平均5分钟~2小时返回）
2. 全量湖内数据与数仓数据无法关联分析，数据湖难以利用数仓加工后的主题数据
3. 基于Hive的BI分析业务并发能力不足（小于10）

解决方案：

1. HetuEngine通过本地化计算、执行动态过滤、执行计划缓存、多维度算子下推、ORC Cache等多种智能自适应优化技术，提供秒级交互式查询能力
2. HetuEngine提供数据湖数据关联DWS分析，湖内数据加工可以直接利用DWS加工过的主题数据
3. HetuEngine提供ResourceGroup并发控制、user acl缓存机制、内核参数优化，提高并发能力
4. 兼容Hive语法和UDF，支持无缝应用迁移、

客户价值：

1. SAS建模分析、自助BI分析，查询性能提升5倍（Spark->HetuEngine）
2. 高效关联分析，重复利用已加工的数据仓库数据，提升湖内数据分析时效性从分钟级提升至秒级，统一SQL接口，开发效率提升2倍
3. BI业务并发TPS可达到45.2，阶梯式并发最大可达到200，平均时延8秒
4. 无缝应用迁移，支持灵活数据探索的同时，节省90%业务改造成本

跨域协同案例

HetuEngine特性介绍

高性能交互式分析

动态过滤