【云小课】EI第36课 DataArts Studio数据开发之基础入门篇(10分钟扫盲)

Hi,EI 发表于 2021/11/30 15:59:35 2021/11/30
【摘要】 欢迎来到DGC数据开发的世界,跟着云小课一起学习云数据开发。本文主要介绍DGC数据开发的基本概念、优势、应用场景及数据开发的示例,帮助您快速掌握智能数据开发。

DataArts Studio数据开发简介

数据治理中心 DataArts Studio ,是具有智能数据管理能力的一站式治理运营平台,包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能。DataArts Studio数据开发又称数据湖工厂(Data Lake Factory,简称DLF),它可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

使用数据开发模块,用户可进行脚本开发、作业开发、作业调度、运维监控等操作,轻松完成整个数据的处理分析流程。

DataArts Studio数据开发的优势

  一站式IDE平台:实现一站式大数据服务及数仓开发,无需切换多个工具
  统一编排调度平台:支持对接多种云服务,可实现跨服务作业编排调度
  简单易用:在线SQL/Shell/Python脚本编辑调试;预设30多种任务类型,拖拽式工作流编排

  调度稳定高效:丰富的调度配置策略,千万级别的作业调度能力


应用场景

云上数仓快速搭建

通过数据集成模块将线下数据迁移到华为云上,将数据集成到华为云大数据服务中,并在数据开发模块中进行数据开发。

数据分析业务流自动化

通过数据开发模块实现数据导入、清洗、机器学习、数据回传、报表生成端到端流程自动化,把业务搬上自动化流水线。

复杂BI报表生成自动化

通过数据开发模块的脚本开发、数仓管理和作业开发功能,快速开发报表所需的脚本以及灵活自动生成BI报表。

海量日志轻松分析挖掘

通过DIS将日志数据接入到OBS存储(或者Cloud Search服务),然后通过数据开发模块服务编写数据开发脚本和数据挖掘脚本,实现海量日志分析和挖掘。

DataArts Studio数据开发示例

本节课我们将通过DLFHive SQL任务,定期执行脚本统计表数据,当表数据大于某个值发送通知为例进行介绍。

Step1:登录DataArts Studio控制台

Substep1:访问华为云管理控制台。

Substep2:单击管理控制台左上角的,选择区域和项目。

Substep3:在首页“服务列表”中,选择“大数据 > 数据治理中心DataArts Studio”,进入DataArts Studio服务的概览页面。

Step2:创建数据连接

数据连接用于保存DLF数据实体的连接信息,本示例需要先创建MRS Hive的数据连接,其中绑定的AgentCDM集群提供。

Substep1:DataArts Studio控制台的相应的工作空间,单击“管理中心”,进入数据连接页面。

Substep2:单击“创建数据连接”,弹出“创建数据连接”页面,配置如下所示。

Substep3:单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。

Substep4:单击“确定”,创建数据连接。

Step3:创建和开发脚本

数据连接“mrs_hive”创建完成后,需要在线开发SQL脚本,用于查询MRS Hive“hive_dt”的信息。

Substep1:DataArts Studio控制台的顶部导航栏,选择对应工作空间,单击“数据开发 > 脚本开发”。

Substep2:单击“新建SQL脚本 > Hive”,进入脚本开发页面。

Substep3:选择脚本的“数据连接”为“mrs_hive”、“数据库”为“hive_db”,输入如下SQL语句。

select * from hive_dt;

Substep4:单击“运行”,查询数据表“hive_dt”,执行结果如下所示。


 

Substep5:单击,保存脚本。


Substep6:单击,保存并提交版本,提交后的脚本在下一步的作业中使用。

Step4:创建和开发作业

脚本“hive_sql”开发完成后,需要通过作业进行编排和调度,实现定期执行脚本,统计MRS Hive表数据的任务。

Substep1:DataArts Studio控制台的顶部导航栏,选择对应工作空间,单击“数据开发 > 作业开发”。

Substep2:单击“新建作业”,弹出“新建作业”页面,配置如下所示。


 

Substep3:单击“确定”,新建作业。

Substep4:进入作业开发页面,拖动Hive SQL节点任务到画布并单击,在右侧的“节点属性”页面配置如下所示。


 

Substep5:单击右侧的“调度配置”页签,配置调度信息,如下所示。


Substep6:单击,保存作业。

Substep7:单击,保存并提交版本。

  • 提交后的作业可以在作业监控页面查看作业的运行情况和结果;
  • 作业每次运行,都会对应产生一次作业实例记录。在实例监控页面,可以查看作业的实例信息。

Step5:配置通知任务

作业“job_hive_sql”开发完成后,配置作业的通知任务,当作业运行异常时向相关人员发送通知。

Substep1:登录DataArts Studio控制台,进入数据开发模块。

Substep2单击“运维调度 > 通知管理”。

Substep3:在作业的“操作”列,单击“编辑”,弹出“编辑通知”页面,配置如下所示。


 

Substep4单击“确定”,完成作业通知配置任务。

Step6:查看作业和实例运行记录

作业的调度任务启动后,可以查看作业和实例任务的运行记录与结果。

Substep1:登录DataArts Studio控制台,进入数据开发模块。

Substep2:单击“运维调度 > 作业监控”。

Substep3:单击作业名称,查看作业的详细运行情况。

Substep4单击“运维调度 > 实例监控”。

Substep5单击作业名称前的,查看作业运行产生实例的详细运行情况。

----结束

 

好了,本期云小课就介绍到这里,学习完本期课程,您是否觉得数据开发竟然这么简单呢。哈哈,快去登录华为云数据治理中心Console体验一下吧,想要了解更多数据开发的知识,猛戳这里~

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。