hive 表里面的 restore、parse 是什么?

举报
孙中明 发表于 2022/04/08 09:09:17 2022/04/08
【摘要】 有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse;出现这种情况主要是因为,在对数据抽取的时候,我们需要这种结构ods_xxx_work_restore – 整合总表的数据-json数据ods_xxx_work_parse – 新增的数据的暂时存放-json 数据ods_xxx_work – 整合好的数据所以整个流程就是先 parse → restore ...

有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse;

出现这种情况主要是因为,在对数据抽取的时候,我们需要这种结构

  • ods_xxx_work_restore – 整合总表的数据-json数据
  • ods_xxx_work_parse – 新增的数据的暂时存放-json 数据
  • ods_xxx_work – 整合好的数据

所以整个流程就是先 parse → restore → 原表

select
  count(*)
from
ods_xxx_work_restore  
where
  pdate = '2021-06-16'

-- 3035510
-- joson 未解析
select
  count(*)
from
ods_xxx_work_parse
where
  pdate = '2021-06-16'
-- 3815
-- 新增数据
select
  count(*)
from
 ods_xxx_work
where
  pdate = '2021-06-16'

-- 3035510
-- 已解析

从上面的数据里面可以查出来的就可以知道了,我们​​ods_xxx_work​​​ 和​​ods_xxx_work_restore​​ 数据量是一样的,只是里面的数据格式是不一样的,json 与否

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。