数据接入服务（Data Ingestion Service, DIS）简介

产品概述

数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。

数据流向

- DIS实时从多种数据源采集数据。

- DIS连续传输数据，自动将数据传输至MRS，DLI，DWS和OBS等服务做计算，分析和存储。

应用场景

实时数据处理

实时收集城市各交通枢纽的车辆通行数据，缓存在通道中，分析平台周期读取通道中的数据分析后将结果应用到调度系统，实现对停车场开放时长和交通资源的调配。

实时文件传输

实时检测客户应用系统中产生的文件，并采集上传到云上，进行离线分析、存储查询及机器学习，对客户进行分类和信息查询，识别出大型客户，加强服务，进一步提升客户满意度。

数据接入备份

将大量滚动日志文件传输到云端做备份，用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。

IOT分析应用

通过在车载设备中集成DIS SDK，实时上传车辆状态、监控数据，采用云上数据分析系统进行实时分析、检测，动态掌握设备状况，实现汽车故障提前感知。

主要功能模块

DIS分为4个功能模块，各模块功能如下：

• 服务控制面

• 完成服务的开通、删除、配置操作，并将用户信息同步到数据面。

• 完成数据面资源的申请与自动部署。

• 服务数据面

• 接收用户发送数据的请求，对已鉴权的数据接收并存储。

• 接收用户获取数据的请求，在鉴权后输出对应的用户数据。

• 按时老化存储在系统中的用户数据。

• 根据用户配置，将用户数据存储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data Warehouse Service，简称DWS）、数据湖探索（Data Lake Insight，简称DLI）。

• 服务维护

• 负责服务的安装、升级。

• 负责服务的配置、巡检、日志收集与分析、运行监控。

• 负责服务工单处理。

• 用户SDK

• 提供Java接口，供用户上传与下载数据。

• 提供数据加密功能