数据接入服务(Data Ingestion Service,DIS)快速入门
快速使用DIS
Data Ingestion Service(DIS)是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力,让您可以轻松构建基于实时数据的分析和应用。用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。通过DIS用户可以完成数据轻松上云及数据在云上自由流动。本使用指南,指导用户通过DIS Agent采集数据并上传数据至DIS。
Step1 登录管理控制台
登录华为云控制台。在控制台页面中选择“服务列表 > EI企业智能 > 数据接入服务”。
Step2 创建DIS实例
① 单击”购买接入通道“。
② 配置通道信息。
配置“通道名称”,该名称用户可以使用默认值。
选择“分区数量”,用户可以根据分区计算,由数据流折算出分区数量。
选择“生命周期”,该周期为数据在DIS中缓存的时间,以天为单位。
选择”源数据类型“。
③ 确认规格后,单击”提交“。
④在”通道管理“页面,可查看已创建的实例。
Step3 安装DIS Agent
从这里获取最新的dis-agent-XXX.zip包,在您的工作目录解压DIS Agent压缩包。
Step4 配置DIS Agent
① 在“dis-agent-XXX\conf”目录中打开“agent.yml”进行数据采集配置。
② 获取“ProjectId”、“AK”、“SK”、”DISStream“信息配置“agent.yml”文件。
a.登录华为云数据接入服务页面,单击右上角的用户名,然后选择“我的凭证”。根据对应区域,例如“华为-北京1”,在“项目列表”页签中获取匹配的ProjectId。
b.在“管理访问密钥”页签中,单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器会自动下载一个“credentials.csv”,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。
c.将已创建的DIS实例名称配置至“agent.yml”文件的DISStream处。
③ 配置Agent数据采集来源。
在您的工作目录创建要监控的文件,当该文件的内容增长时,增长的数据会通过DIS实例从用户侧上传到云上的DIS。
Step5 启动Agent上传数据
①在“dis-agent-XXX\bin”目录中,双击“start-dis-agent.bat”,启动DIS Agent。
若控制台前几行中打印出如下日志表示启动成功。
[INFO ] (main) com.bigdata.dis.agent.Agent Agent: Startup completed in XXX ms.
② 构造数据并上传,向“AgentData\test.txt”文件中追加数据并保存。
数据上传成功,在命令行提示:*records / * files sent successfully to destinations.
Step6 查看数据上传结果
① 进入数据接入服务,在“通道管理”页面,单击已创建的DIS实例名称,进入通道监控页面。
② 在通道监控页面可查看数据上传输入流量和输入记录,则表明数据已从用户机器上传至云上的DIS。
- 点赞
- 收藏
- 关注作者
评论(0)