数据湖探索Data Lake Insight
数据湖探索Data Lake Insight
数据湖探索是提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务
数据湖探索是提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务
活动对象：华为云电销客户及渠道伙伴客户可参与消费满送活动，其他客户参与前请咨询客户经理
活动时间： 2020年8月12日-2020年9月11日
活动期间，华为云用户通过活动页面购买云服务，或使用上云礼包优惠券在华为云官网新购云服务，累计新购实付付费金额达到一定额度，可兑换相应的实物礼品。活动优惠券可在本活动页面中“上云礼包”等方式获取，在华为云官网直接购买（未使用年中云钜惠活动优惠券）或参与其他活动的订单付费金额不计入统计范围内；
活动对象：华为云电销客户及渠道伙伴客户可参与消费满送活动，其他客户参与前请咨询客户经理
- 云数据库 RDS
数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。支持标准SQL/Spark SQL/Flink OpenSource SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
入门视频教程
SQL作业入门指导
07:36
数据湖探索Flink 作业入门指导
04:26
数据湖探索Spark作业入门指导
02:54
高阶使用
-
分析数据
DLI支持多种数据源的分析，其中Spark跨源连接：可通过DLI访问CloudTable，DWS，RDS和CSS等数据源。Flink跨源支持与多种云服务连通，形成丰富的流生态圈。
DLI支持多种数据源的分析，其中Spark跨源连接：可通过DLI访问CloudTable，DWS，RDS和CSS等数据源。Flink跨源支持与多种云服务连通，形成丰富的流生态圈。
-
数据迁移
DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，采用批流融合高扩展性框架，为TB~EB级数据提供了更实时高效的多样性算力，可支撑更丰富的大数据处理需求。
DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，采用批流融合高扩展性框架，为TB~EB级数据提供了更实时高效的多样性算力，可支撑更丰富的大数据处理需求。
-
弹性资源池的使用
弹性资源池后端采用CCE集群的架构，支持异构，对资源进行统一的管理和调度。弹性资源池的优势主要体现在以下几个方面：统一资源管理、统一管理内部多集群和调度作业，多AZ部署。
弹性资源池后端采用CCE集群的架构，支持异构，对资源进行统一的管理和调度。弹性资源池的优势主要体现在以下几个方面：统一资源管理、统一管理内部多集群和调度作业，多AZ部署。
-
离线数据开发
DLI支持离线数据的开发，并且DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。
DLI支持离线数据的开发，并且DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。
-
实时数据开发
DLI支持实时数据的开发，通过Flink实时地处理一些实时数据流。并且DLI在开源Flink基础上进行了特性增强和安全增强，提供了数据处理所必须的Stream SQL特性。
DLI支持实时数据的开发，通过Flink实时地处理一些实时数据流。并且DLI在开源Flink基础上进行了特性增强和安全增强，提供了数据处理所必须的Stream SQL特性。
-
Spark SQL开发
DLI支持用户使用Hive UDF、Hive UDTF、Hive UDAF函数、空间地理函数的使用，以及通过DLI分析OBS数据，也支持使用JDBC或ODBC提交Spark SQL作业的功能。
DLI支持用户使用Hive UDF、Hive UDTF、Hive UDAF函数、空间地理函数的使用，以及通过DLI分析OBS数据，也支持使用JDBC或ODBC提交Spark SQL作业的功能。
最佳实践
手把手教你轻松使用DLI
使用DLI进行账单分析与优化
使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。
使用DLI将CSV数据转换为Parquet数据
Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。
使用DLI Flink SQL进行电商实时业务数据分析
当前线上购物无疑是最火热的购物方式，而电商平台则又可以以多种方式接入，例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。可以使用DLI进行每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据，方便及时了解数据变化，有针对性地调整营销策略。