入门视频教程

SQL作业入门指导

07:36

SQL作业入门指导

数据湖探索Flink 作业入门指导

04:26

数据湖探索Flink 作业入门指导

数据湖探索Spark作业入门指导

02:54

数据湖探索Spark作业入门指导

高阶使用

  • 分析数据 *Hot*

    DLI支持多种数据源的分析,其中Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。Flink跨源支持与多种云服务连通,形成丰富的流生态圈。


    DLI支持多种数据源的分析,其中Spark跨源连接:可通过DLI访问CloudTable,DWS,RDS和CSS等数据源。Flink跨源支持与多种云服务连通,形成丰富的流生态圈。

  • 数据迁移 *Hot*

    DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。

    DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。

  • 弹性资源池的使用 *Import*

    弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。弹性资源池的优势主要体现在以下几个方面:统一资源管理、统一管理内部多集群和调度作业,多AZ部署。

    弹性资源池后端采用CCE集群的架构,支持异构,对资源进行统一的管理和调度。弹性资源池的优势主要体现在以下几个方面:统一资源管理、统一管理内部多集群和调度作业,多AZ部署。

  • 离线数据开发 *Hot*

    DLI支持离线数据的开发,并且DLI完全兼容开源的Apache Spark,支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。

    DLI支持离线数据的开发,并且DLI完全兼容开源的Apache Spark,支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。

  • 实时数据开发 *Hot*

    DLI支持实时数据的开发,通过Flink实时地处理一些实时数据流。并且DLI在开源Flink基础上进行了特性增强和安全增强,提供了数据处理所必须的Stream SQL特性。

    DLI支持实时数据的开发,通过Flink实时地处理一些实时数据流。并且DLI在开源Flink基础上进行了特性增强和安全增强,提供了数据处理所必须的Stream SQL特性。

  • Spark SQL开发 *Hot*

    DLI支持用户使用Hive UDF、Hive UDTF、Hive UDAF函数、空间地理函数的使用,以及通过DLI分析OBS数据,也支持使用JDBC或ODBC提交Spark SQL作业的功能。

    DLI支持用户使用Hive UDF、Hive UDTF、Hive UDAF函数、空间地理函数的使用,以及通过DLI分析OBS数据,也支持使用JDBC或ODBC提交Spark SQL作业的功能。

最佳实践

手把手教你轻松使用DLI

使用DLI进行车联网场景驾驶行为数据分析

在车联网领域,云计算与大数据为企业提供了强大的分析挖掘能力,可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。

了解更多

使用DLI进行电商BI报表分析

利用华为云数据湖探索、数据仓库服务以及永洪BI来分析用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。

使用DLI进行账单分析与优化

使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。

使用DLI将CSV数据转换为Parquet数据

Parquet是面向分析型业务的列式存储格式,这种格式可以加快查询速度,查询Parquet格式数据时,只检查所需要的列并对它们的值执行计算,也就是说,只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项,因此可以显著减少磁盘上的存储。使用DLI可轻松将CSV格式数据转换为Parquet格式数据。

使用DLI Flink SQL进行电商实时业务数据分析

当前线上购物无疑是最火热的购物方式,而电商平台则又可以以多种方式接入,例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。可以使用DLI进行每天统计各平台的实时访问数据量、订单数、访问人数等等指标,从而能在显示大屏上实时展示相关数据,方便及时了解数据变化,有针对性地调整营销策略。

永洪BI对接DLI提交Spark作业

DLI可以对接永洪BI。