【云知易】数据接入服务DIS 入门 01 开通DIS通道
Data Ingestion Service是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力,让您可以轻松构建基于实时数据的分析和应用。DIS的使用流程如下:
开通DIS通道
用户使用DIS前需要先开通DIS通道。
准备DIS应用开发环境
用户开发DIS应用程序前,首先需要安装应用开发工具,如JDK和IDEA。然后获取SDK和样例工程,并导入到用户的开发环境中。
发送数据到DIS服务
基于数据上传业务开发应用程序,并运行程序,实现数据上传功能。数据上传过程中可在Console控制台查看数据上传通道相关信息。
从DIS服务获取数据
基于数据下载业务开发应用程序,并运行程序,实现数据下载功能。
开通DIS通道
用户使用DIS前需要先开通DIS通道,具体操作步骤如下:
1. 访问华为云数据接入服务首页http://www.huaweicloud.com/product/dis.html,单击“进入控制台”。
2. 使用注册账户登录DIS控制台。
3.单击“申请接入通道”配置相关参数。
通道名称:用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。
通道类型:普通和高级。
普通通道:最高发送速度可达1MB/秒及1000条记录/秒,最高读取速度可达2MB/秒。
高级通道:最高发送速度可达5MB/秒及2000条记录/秒,最高提取速度可达10MB/秒。
分区数量:分区是DIS数据通道的基本吞吐量单位。取值范围为1~50的整数,每个租户分区数量总和不能超过50。通道的多个分区可以并发进行数据传输,以提升效率。
分区计算:用户可以根据实际需求通过系统计算得到一个建议的分区数量值。单击“分区计算”,弹出“计算所需分区数量”对话框。根据实际需求填写“平均记录大小”、“最大写入记录数”和“应用程序数量”,“预估所需分区数量”选项框中将显示所需的分区数量,此值不可修改。单击“使用计算值”将系统计算出的建议值应用于“分区数量”。
生命周期(天):存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。取值范围:1~7的整数。单位:天,以24小时为一天计算。
数据转储:通道数据存储位置。若不选则默认为“无”。
无:通道数据只存储在DIS中。
OBS:通道里的流式数据存储在DIS中,并周期性导入OBS。通道里的实时文件数据传输完成后,导入OBS。
说明:DIS为临时存储器,存储在DIS中的数据最长保留时间为“生命周期”中配置的时间。
当“数据转储”选择为“OBS”且“转储类型”选择为“按周期转储”时,显示“数据转储地址”、“转储文件目录”和“数据转储周期”配置项。
当“数据转储”选择为“OBS”且“转储类型”选择为“自定义文件转储”时,显示“数据转储地址”配置项。
数据转储地址:存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。
数据转储类型:按周期转储和自定义文件转储。
按周期转储:用户转储的流式数据被自动整理为指定目录下的文件,并按周期进行存储。
自定义文件转储:用户自定义转储的流式数据有哪些被整理成文件,并指定特定文件夹进行立即存储。
转储文件目录:在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔。“数据转储类型”选择为“按周期转储”时显示此配置项。
数据转储周期(s):根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。取值范围:60~900。单位:秒。“数据转储类型”选择为“按周期转储”时显示此配置项。
4. 单击“提交申请”,弹出“规格确认”页面。
5.勾选“我已阅读并同意《华为云DIS服务协议》”。单击“确认申请”,完成通道接入。
- 点赞
- 收藏
- 关注作者
评论(0)