Lv.3
Leef724
更多个人资料
320
成长值
2
关注
18
粉丝
+ 关注
私信
个人介绍
华为云智能数据域,数据集成的一名搬砖工
感兴趣或擅长的领域
暂无数据
个人勋章
TA还没获得勋章~
成长雷达
320
0
0
0
0
个人资料
个人介绍
华为云智能数据域,数据集成的一名搬砖工
感兴趣或擅长的领域
暂无数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
DIS进阶指导之Schema如何支持字段缺省
源数据Schema,即用户的JSON数据样例,用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema,默认情况下不支持字段缺省或者为NULL,如图1。图1 不支持字段缺省样例"key1"字段对应的类型为"String"(Avro Schema中体现为:"type": "string"),这时如果源数据中"key1"不传或者传的值为NULL,那么转储任务会报错。如...
JSON
数据接入服务 DIS
Leef724
2020-05-30 17:48:14
4813
0
0
2020-05-30 17:48:14
999+
0
0
DIS进阶指导之转储数据到DWS的特定列
DIS如何实现转储数据至DWS的特定列DIS支持将源数据类型为JSON格式的数据转储至DWS。转储前,需要配置源数据Schema。源数据Schema,即用户的JSON数据样例,用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema, 将通道内上传的JSON数据转换为Parquet或CarbonData格式。参考创建源数据Schema,创建源数据Schema。如下...
云数据仓库 GaussDB(DWS)
数据接入服务 DIS
Leef724
2020-05-30 17:46:30
5154
0
0
2020-05-30 17:46:30
999+
0
0
CDM进阶指导之MD5校验文件一致性
迁移模式CDM数据迁移以抽取-写入模式进行,CDM首先从源端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式下图所示。在这个过程中,CDM支持使用MD5检验文件一致性,配置参数如图9-14所示。抽取时1)校验CDM抽取的文件,是否与源文件一致。2)能由源端作业参数“MD5文件名后缀”控制,配置为源端文件系统中的MD5文件名后缀。3)端数据文件同一目录下有对应后缀的保存md5值...
云数据迁移 CDM
对象存储服务 OBS
Leef724
2020-05-30 15:31:44
5742
0
0
2020-05-30 15:31:44
999+
0
0
CDM进阶指导之文件加密
在迁移文件到文件系统时,CDM支持对文件进行AES-256-GCM或KMS加密AES-256-GCM加密简介目前只支持AES-256-GCM(NoPadding)。该加密算法在目的端为加密,在源端为解密,支持的源端与目的端数据源如下。源端支持的数据源:OBS、FTP、SFTP、NAS、SFS、HDFS(使用二进制格式传输时支持)、HTTP(适用于OBS共享文件的下载场景)。目的端支持的数据源...
云数据迁移 CDM
对象存储服务 OBS
Leef724
2020-05-30 15:31:02
5870
0
0
2020-05-30 15:31:02
999+
0
0
数据接入服务(Data Ingestion Service,DIS)快速入门
快速使用DISData Ingestion Service(DIS)是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力,让您可以轻松构建基于实时数据的分析和应用。用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。通过DIS用户可以完成数据轻松上云及数据在云上自由流动。本使用指南,指导用户通过DIS Agent采集数据并上传数...
数据接入服务 DIS
Leef724
2020-05-28 10:05:44
4620
0
0
2020-05-28 10:05:44
999+
0
0
数据接入服务(Data Ingestion Service, DIS)简介
产品概述数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。数据流向- DIS实时从多种数据源采集数据。- DIS连续传输数据,自动将数据传输至MRS,...
数据接入服务 DIS
Leef724
2020-05-28 09:53:39
8721
0
0
2020-05-28 09:53:39
999+
0
0
深入浅出Sqoop之Java Client API 使用指南
Sqoop Java Client API 使用指南简介Sqoop是一个在Hadoop和关系型数据库之间被用来传输数据的工具,官网地址sqoop.apache.org,当前最新版本是2.0,本文根据官网文档,基于1.99.7版本,简单介绍其Java Client API使用。接下来要介绍的所有方法都在sqoop源码中的SqoopClient类中被打包。迁移流程sqoop的迁移流程简单来说就是...
API
Java
Leef724
2020-05-19 16:06:18
4965
0
1
2020-05-19 16:06:18
999+
0
1
如何使用CDM完成整库迁移
MySQL整库迁移到云上RDS服务操作场景本章节介绍使用CDM整库迁移功能,将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库,整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库(云数据库 MySQL)为例进行介绍,使用流程如下:1)创建CDM集群并绑定EI...
数据库
云数据迁移 CDM
Leef724
2020-05-15 10:24:44
8552
0
0
2020-05-15 10:24:44
999+
0
0
如何使用CDM迁移Mysql数据到Hive分区表
MySQL数据库迁移到云上MRS Hive分区表简介MapReduce服务(MapReduce Service,简称MRS)是华为云提供的企业级大数据集群云服务,里面包含HDFS、Hive、Spark等组件,适用于企业海量数据分析。其中Hive提供类SQL查询语言,帮助用户对大规模的数据进行提取、转换和加载,即通常所称的ETL(Extraction,Transformation,and Lo...
Hive
云数据迁移 CDM
MySQL
Leef724
2020-05-15 10:13:15
5863
0
0
2020-05-15 10:13:15
999+
0
0
如何使用CDM迁移OBS数据到DLI
OBS到DLI迁移介绍操作场景数据湖探索(DLI)提供大数据查询服务,本章节介绍使用CDM将OBS的数据迁移到DLI,使用流程如下:前提条件已经开通了OBS和DLI。已经在DLI服务中创建好资源队列、数据库和表。迁移流程1.创建CDM集群登录CDM管理控制台,根据实际情况选择操作:如果您已拥有CDM集群,则直接单击集群后的“作业管理”,继续创建连接即可。如果没有,则单击“购买云数据迁移服务”...
对象存储服务 OBS
数据湖探索 DLI
云数据迁移 CDM
Leef724
2020-05-14 19:14:35
13246
0
0
2020-05-14 19:14:35
999+
0
0
总条数:32
10
10
20
50
100
1
2
3
4
上滑加载中
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信