入门视频教程
SQL作业入门指导
数据湖探索Flink 作业入门指导
数据湖探索Spark作业入门指导
高阶使用
-
DLI支持多种数据源的分析,其中Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。Flink跨源支持与多种云服务连通,形成丰富的流生态圈。
DLI支持多种数据源的分析,其中Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。Flink跨源支持与多种云服务连通,形成丰富的流生态圈。
-
DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。
DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。
-
弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。弹性资源池的优势主要体现在以下几个方面:统一资源管理、统一管理内部多集群和调度作业,多AZ部署。
弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。弹性资源池的优势主要体现在以下几个方面:统一资源管理、统一管理内部多集群和调度作业,多AZ部署。
-
DLI支持离线数据的开发,并且DLI完全兼容开源的Apache Spark,支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。
DLI支持离线数据的开发,并且DLI完全兼容开源的Apache Spark,支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。
-
DLI支持实时数据的开发,通过Flink实时地处理一些实时数据流。并且DLI在开源Flink基础上进行了特性增强和安全增强,提供了数据处理所必须的Stream SQL特性。
DLI支持实时数据的开发,通过Flink实时地处理一些实时数据流。并且DLI在开源Flink基础上进行了特性增强和安全增强,提供了数据处理所必须的Stream SQL特性。
-
DLI支持用户使用Hive UDF、Hive UDTF、Hive UDAF函数、空间地理函数的使用,以及通过DLI分析OBS数据,也支持使用JDBC或ODBC提交Spark SQL作业的功能。
DLI支持用户使用Hive UDF、Hive UDTF、Hive UDAF函数、空间地理函数的使用,以及通过DLI分析OBS数据,也支持使用JDBC或ODBC提交Spark SQL作业的功能。
最佳实践
手把手教你轻松使用DLI
使用DLI进行账单分析与优化
使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。
使用DLI将CSV数据转换为Parquet数据
Parquet是面向分析型业务的列式存储格式,这种格式可以加快查询速度,查询Parquet格式数据时,只检查所需要的列并对它们的值执行计算,也就是说,只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项,因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。
使用DLI Flink SQL进行电商实时业务数据分析
当前线上购物无疑是最火热的购物方式,而电商平台则又可以以多种方式接入,例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。可以使用DLI进行每天统计各平台的实时访问数据量、订单数、访问人数等等指标,从而能在显示大屏上实时展示相关数据,方便及时了解数据变化,有针对性地调整营销策略。