hive 表里面的 restore、parse 是什么?
【摘要】 有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse;出现这种情况主要是因为,在对数据抽取的时候,我们需要这种结构ods_xxx_work_restore – 整合总表的数据-json数据ods_xxx_work_parse – 新增的数据的暂时存放-json 数据ods_xxx_work – 整合好的数据所以整个流程就是先 parse → restore ...
有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse;
出现这种情况主要是因为,在对数据抽取的时候,我们需要这种结构
- ods_xxx_work_restore – 整合总表的数据-json数据
- ods_xxx_work_parse – 新增的数据的暂时存放-json 数据
- ods_xxx_work – 整合好的数据
所以整个流程就是先 parse → restore → 原表
select
count(*)
from
ods_xxx_work_restore
where
pdate = '2021-06-16'
-- 3035510
-- joson 未解析
select
count(*)
from
ods_xxx_work_parse
where
pdate = '2021-06-16'
-- 3815
-- 新增数据
select
count(*)
from
ods_xxx_work
where
pdate = '2021-06-16'
-- 3035510
-- 已解析
从上面的数据里面可以查出来的就可以知道了,我们ods_xxx_work
和ods_xxx_work_restore
数据量是一样的,只是里面的数据格式是不一样的,json 与否
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)