建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

石榴裙

发帖: 405粉丝: 8

级别 : 外部版主

发消息 + 关注

发表于2020年08月07日 17:30:49 311 3
直达本楼层的链接
楼主
显示全部楼层
[开发知识库] DIS如何实现转储数据至DWS的特定列


DIS支持将源数据类型为JSON格式的数据转储至DWS。转储前,需要配置源数据Schema。

源数据Schema,即用户的JSON数据样例,用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema, 将通道内上传的JSON数据转换为Parquet或CarbonData格式。

  1. 参考创建源数据Schema,创建源数据Schema。如下以添加转储任务时创建源数据Schema为例进行说明。

    1. 选择源数据类型是Json的通道。

    2. 在通道详情页面的“转储任务”页签,单击“添加转储任务”

    3. 转储服务类型选择DWS,通过导入文件的方式配置源数据Schema。

    4. 输入源数据样例,单击“转换源数据样例”并提交,生成源数据Schema。

配置Schema属性过滤功能。

说明: 

schema过滤功能,只针对源数据schema根节点或一级子节点非array类型,才有效。即管理源数据Schema创建的源数据schema,满足根节点或一级子节点非array类型,界面才呈现此配置。

  1. 打开Schema过滤开关。

    在源数据属性名列表中,勾选对应的属性名,完成DWS表中指定列的映射。

    说明: 

    源数据属性名列表中的属性由源数据Schema的name字段生成,匹配DWS的列名称。

  2. 图2所示,源数据属性名只选择id,即少于对应表的总字段。

    DWS侧创建集群,并执行如下命令创建表。

    CREATE TABLE dis_test3(id TEXT,dev TEXT,online BIGINT,module TEXT default 'a',logTime TEXT,appId TEXT,event TEXT);

  3. DIS侧转储数据至DWS成功后,登录集群数据库查询dis_test3表格数据,可看到仅id列和module列插入数据,其中module列是默认数据。

1.jpg


举报
分享

分享文章到朋友圈

分享文章到微博

石榴裙

发帖: 405粉丝: 8

级别 : 外部版主

发消息 + 关注

发表于2020年08月07日 17:31:18
直达本楼层的链接
沙发
显示全部楼层

DIS支持将源数据类型为JSON格式的数据转储至DWS。转储前,需要配置源数据Schema。

点赞 评论 引用 举报

大西洋

发帖: 468粉丝: 13

级别 : 版主

发消息 + 关注

发表于2020年08月07日 22:13:22
直达本楼层的链接
板凳
显示全部楼层

赞赞赞

点赞 评论 引用 举报

大西洋

发帖: 468粉丝: 13

级别 : 版主

发消息 + 关注

发表于2020年10月15日 23:33:17
直达本楼层的链接
地板
显示全部楼层

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册