华为云大数据分析7天训练营(二)

花溪 发表于 2021/07/30 12:02:00 2021/07/30
【摘要】 第二章 大数据发展趋势和Spark介绍数据湖探索(Data Lake Insight,简称 DLI)是完全兼容 Apache Spark、Apache Flink、openLooKeng(基于 Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless 融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink S...

第二章 大数据发展趋势和Spark介绍

数据湖探索(Data Lake Insight,简称 DLI)是完全兼容 Apache Spark、Apache Flink、openLooKeng(基于 Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless 融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用 SQL 或程序就可以对云上 CloudTable、RDS、DWS、CSS、OBS、ECS 自建数据库以及线下数据库的异构数据进行探索

作业:1.登录控制台 2.选择队列 3.创建数据库 4.创建表  5.执行SQL查询语句 

1.登录控制台

地址: 大数据分析工具_数据湖探索_DLI_大数据计算分析服务-华为云

点击进入控制台

2.选择队列

① 在“总览”页面,单击左侧导航栏中的“SQL 编辑器”或 SQL 作业简介右上角的“创建作业”,可进入“SQL 编辑器”页面。
点击是,创建桶成功
② 在 SQL 编辑器页面,选择默认的队列“default”。
该队列为服务默认的共享队列,队列大小按需分配,自动扩展。用户在不确定所需队列大小或没有可创建队列空间的情况下,可以使用该队列执行作业。

3.创建数据库

①在 SQL 语句编辑区域中,输入 SQL 语句创建数据库。如,创建名称为 DB1 的数据库:CREATE DATABASE DB1
② 单击“更多”中的“语法校验”,校验成功后,再单击“执行”。在 SQL 语句编辑区域的下方,显示执行结果。
勾选同意  点击确定

4.创建表 

① 在“数据库”下拉框中,选择新创建的数据库 db1。
② 在 SQL 语句编辑区域中,输入 SQL 语句创建数据表。例如,创建名称为 Table1 的数据表,数据文件在 OBS 上的路径为“obs://dli/dli/data.csv ”。
create table table1 (id int, name string) using csv options (path'obs://dli/dli/data.csv')
说明:所使用的数据需先上传至 OBS 中。假设所使用的数据为如下所示:
id name1 Michael
2 Andy
3 Justin
③ 语法校验成功后,单击“执行”。在 SQL 语句编辑区域的下方,显示执行结果。
注意这里地址写你自己的obs地址
首先在控制台搜索obs进入obs
点击桶名字进入桶详情页面 选择对象  然后上传对象将data.csv上传
点击data.csv  之后复制obs路径 填到path
语法校验
执行语句

5.执行SQL查询语句 

①在 SQL 语句编辑区域中,输入查询语句对数据进行分析。例如:查询 DB1 数据库的 Table1 数据表中的 1000 条数据。
SELECT * FROM db1.table1 LIMIT 1000
② 语法校验成功后,单击“执行”。在 SQL 语句编辑区域的下方,显示执行结果。

到此作业完成--记得删除资源

删除obs-先删对象 再删桶

删除作业/数据库/表

  • 附件: data.zip 179B 下载次数:9
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。