华为云大数据分析7天训练营(二)
【摘要】 第二章 大数据发展趋势和Spark介绍数据湖探索(Data Lake Insight,简称 DLI)是完全兼容 Apache Spark、Apache Flink、openLooKeng(基于 Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless 融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink S...
数据湖探索(Data Lake Insight,简称 DLI)是完全兼容 Apache Spark、Apache Flink、openLooKeng(基于 Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless 融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用 SQL 或程序就可以对云上 CloudTable、RDS、DWS、CSS、OBS、ECS 自建数据库以及线下数据库的异构数据进行探索
作业:1.登录控制台 2.选择队列 3.创建数据库 4.创建表 5.执行SQL查询语句
1.登录控制台
地址: 大数据分析工具_数据湖探索_DLI_大数据计算分析服务-华为云
点击进入控制台
2.选择队列
① 在“总览”页面,单击左侧导航栏中的“SQL 编辑器”或 SQL 作业简介右上角的“创建作业”,可进入“SQL 编辑器”页面。


点击是,创建桶成功

② 在 SQL 编辑器页面,选择默认的队列“default”。

该队列为服务默认的共享队列,队列大小按需分配,自动扩展。用户在不确定所需队列大小或没有可创建队列空间的情况下,可以使用该队列执行作业。
3.创建数据库
①在 SQL 语句编辑区域中,输入 SQL 语句创建数据库。如,创建名称为 DB1 的数据库:CREATE DATABASE DB1
② 单击“更多”中的“语法校验”,校验成功后,再单击“执行”。在 SQL 语句编辑区域的下方,显示执行结果。


勾选同意 点击确定

4.创建表
① 在“数据库”下拉框中,选择新创建的数据库 db1。

② 在 SQL 语句编辑区域中,输入 SQL 语句创建数据表。例如,创建名称为 Table1 的数据表,数据文件在 OBS 上的路径为“obs://dli/dli/data.csv ”。
create table table1 (id int, name string) using csv options (path'obs://dli/dli/data.csv')
说明:所使用的数据需先上传至 OBS 中。假设所使用的数据为如下所示:
id name1 Michael
2 Andy
3 Justin

③ 语法校验成功后,单击“执行”。在 SQL 语句编辑区域的下方,显示执行结果。
注意这里地址写你自己的obs地址
首先在控制台搜索obs进入obs

点击桶名字进入桶详情页面 选择对象 然后上传对象将data.csv上传

点击data.csv 之后复制obs路径 填到path


语法校验

执行语句

5.执行SQL查询语句
①在 SQL 语句编辑区域中,输入查询语句对数据进行分析。例如:查询 DB1 数据库的 Table1 数据表中的 1000 条数据。
SELECT * FROM db1.table1 LIMIT 1000

② 语法校验成功后,单击“执行”。在 SQL 语句编辑区域的下方,显示执行结果。
到此作业完成--记得删除资源
删除obs-先删对象 再删桶
删除作业/数据库/表
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
云水不言2021/07/30 08:43:081楼编辑删除举报
x192021/07/30 14:07:042楼编辑删除举报