揭秘hive常见面试题(一)-使用 Hive 进行手机流量统计
【摘要】 使用 Hive 进行手机流量统计
问题导读
1.hive 实现统计的查询语句是什么?
2.生产环境中为什么建议使用外部表?
3.hadoop mapreduce 创建类 DataWritable 的作用是什么?
4. 为什么创建 类 类 DataWritable ?
5.如何实现统计手机流量?
对比 hive 与 与 mapreduce 统计手机流量的区别?
很多公司在使用 ...
使用 Hive 进行手机流量统计
问题导读
1.hive 实现统计的查询语句是什么?
2.生产环境中为什么建议使用外部表?
3.hadoop mapreduce 创建类 DataWritable 的作用是什么?
4. 为什么创建 类 类 DataWritable ?
5.如何实现统计手机流量?
- 对比 hive 与 与 mapreduce 统计手机流量的区别?
很多公司在使用 hive 对数据进行处理。hive 是 hadoop 家族成员,是一种解析 like sql 语句的框架。它封装了常用 MapReduce 任务,让你像执行sql 一样操作存储在 HDFS 的表。
hive 的表分为两种,内表和外表。Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除, 而外部表只删除元数据,不删除数据。这样外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。
Hive 的内外表,还有一个 Partition 的分区的知识点,用于避免全表扫描,快速检索。后期的文章会提到。
原始数据
image.png
操作步骤
image.png
执行结果如下
image.png
文章来源: www.jianshu.com,作者:百忍成金的虚竹,版权归原作者所有,如需转载,请联系作者。
原文链接:www.jianshu.com/p/8d8cc4472fc4
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)