DIS进阶指导之Schema如何支持字段缺省

举报
Leef724 发表于 2020/05/30 17:48:14 2020/05/30
【摘要】 源数据Schema,即用户的JSON数据样例,用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema,默认情况下不支持字段缺省或者为NULL,如图1。图1 不支持字段缺省样例"key1"字段对应的类型为"String"(Avro Schema中体现为:"type": "string"),这时如果源数据中"key1"不传或者传的值为NULL,那么转储任务会报错。如...

源数据Schema,即用户的JSON数据样例,用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema,默认情况下不支持字段缺省或者为NULL,如图1

图1 不支持字段缺省样例
image.png

"key1"字段对应的类型为"String"(Avro Schema中体现为:"type": "string"),这时如果源数据中"key1"不传或者传的值为NULL,那么转储任务会报错。

如果需要根据JSON数据样例生成的Schema可以支持缺省或者NULL,则需要勾选"支持空值"复选框,再单击"转换源数据样例",如图2所示。

图2 支持字段缺省样例
image.png

这时,"key1"字段对应的类型为"Union"复合类型(Avro Schema中体现为:"type": ["null", "string"]),如果源数据中"key1"不传或者传的值为NULL,那么会自动填补NULL为默认值,转储任务可以正常进行格式转换。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。