数据接入服务(Data Ingestion Service,DIS)快速入门

举报
Leef724 发表于 2020/05/28 10:05:44 2020/05/28
【摘要】 快速使用DISData Ingestion Service(DIS)是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力,让您可以轻松构建基于实时数据的分析和应用。用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。通过DIS用户可以完成数据轻松上云及数据在云上自由流动。本使用指南,指导用户通过DIS Agent采集数据并上传数...

快速使用DIS

Data Ingestion Service(DIS)是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力,让您可以轻松构建基于实时数据的分析和应用。用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。通过DIS用户可以完成数据轻松上云及数据在云上自由流动。本使用指南,指导用户通过DIS Agent采集数据并上传数据至DIS。

Step1 登录管理控制台

登录华为云控制台在控制台页面中选择“服务列表 > EI企业智能 > 数据接入服务”。

Step2 创建DIS实例

① 单击”购买接入通道“。
② 配置通道信息。
配置“通道名称”,该名称用户可以使用默认值。
选择“分区数量”,用户可以根据分区计算,由数据流折算出分区数量。
选择“生命周期”,该周期为数据在DIS中缓存的时间,以天为单位。
选择”源数据类型“。
③ 确认规格后,单击”提交“。
④在”通道管理“页面,可查看已创建的实例。

image.png

Step3 安装DIS Agent

这里获取最新的dis-agent-XXX.zip包,在您的工作目录解压DIS Agent压缩包。

Step4 配置DIS Agent

① 在“dis-agent-XXX\conf”目录中打开“agent.yml”进行数据采集配置。
② 获取“ProjectId”、“AK”、“SK”、”DISStream“信息配置“agent.yml”文件。
a.登录华为云数据接入服务页面,单击右上角的用户名,然后选择“我的凭证”。根据对应区域,例如“华为-北京1”,在“项目列表”页签中获取匹配的ProjectId。
b.在“管理访问密钥”页签中,单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器会自动下载一个“credentials.csv”,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。
c.将已创建的DIS实例名称配置至“agent.yml”文件的DISStream处。

image.png

③ 配置Agent数据采集来源。
在您的工作目录创建要监控的文件,当该文件的内容增长时,增长的数据会通过DIS实例从用户侧上传到云上的DIS。

image.png

Step5 启动Agent上传数据

①在“dis-agent-XXX\bin”目录中,双击“start-dis-agent.bat”,启动DIS Agent。
若控制台前几行中打印出如下日志表示启动成功。
[INFO ] (main) com.bigdata.dis.agent.Agent Agent: Startup completed in XXX ms.
② 构造数据并上传,向“AgentData\test.txt”文件中追加数据并保存。
数据上传成功,在命令行提示:*records / * files sent successfully to destinations.

Step6 查看数据上传结果

① 进入数据接入服务,在“通道管理”页面,单击已创建的DIS实例名称,进入通道监控页面。
② 在通道监控页面可查看数据上传输入流量和输入记录,则表明数据已从用户机器上传至云上的DIS。

image.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。