作者小头像 Lv.3
更多个人资料
254 成长值
1 关注
14 粉丝
+ 关注 私信

个人介绍

华为云云享专家 华为认证大数据HCIE

感兴趣或擅长的领域

人工智能、大数据、数据库、微服务架构、编程语言
个人勋章
TA还没获得勋章~
成长雷达
210
24
0
0
20

个人资料

个人介绍

华为云云享专家 华为认证大数据HCIE

感兴趣或擅长的领域

人工智能、大数据、数据库、微服务架构、编程语言

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
【hive基础增强】Hive参数配置及数据类型
1．查看当前所有的配置信息 hive>set; 2．参数的配置三种方式 （1）配置文件方式 默认配置文件：hive-default.xml 用户自定义配置文件：hive-site.xml 注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启...
作者小头像 百忍成金的虚竹
2062
0
0
2021-03-28 00:05:07
999+
0
0
【Hive基础增强】Hive数据导入与导出
1.向表中装载数据（Load） 基本语法 hive>load data local inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)]; （1）load data:表示加载数据 （2）local:表示从本地加载数据到hive表...
作者小头像 百忍成金的虚竹
2864
0
0
2021-03-25 23:16:51
999+
0
0
hive中显示所有分区的指令
hive中显示所有分区的指令 hive (dwd)> show partitions user_behavior; OK partition dt=20190413 dt=20190414 dt=20190415 dt=20190416 dt=20190417 dt=20190418 dt=20190419
作者小头像 百忍成金的虚竹
1402
0
0
2021-03-26 00:31:15
999+
0
0
HIVE中的from_unixtime函数
hive中的from_unixtime()函数，可以把时间戳格式的时间，转化为年月日时分秒格式的时间。 from_unixtime的参数要求为整数，且单位为秒。 如果从业务系统拿到的时间戳格式的时间单位为毫秒，则需要先将它转化为秒，方法如下 from_unixtime( int (timestamp_in_millisecond / 1000)) 示例： hive (defau...
作者小头像 百忍成金的虚竹
1788
0
0
2021-03-27 23:18:33
999+
0
0
Hive动态分区表导入数据时报错
主要报错信息如下： Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec...
作者小头像 百忍成金的虚竹
1350
0
0
2021-03-28 01:19:06
999+
0
0
解决hive表小文件过多问题
问题描述: 前些时间，运维的同事反应小文件过多问题，需要我们去处理，所以想到是以何种手段去合并现有的小文件。我们知道Hadoop需要在namenode维护文件索引相关的metadata，所以小文件过多意味着消耗更大的内存空间。 过程 经过网上的调研发现通过hive表使用orc格式进行存储能够通过concatenate命令对分区进行小文件合并，并且能够节省80%以上的存储空间，...
作者小头像 百忍成金的虚竹
2698
0
0
2021-03-28 01:05:03
999+
0
0
Hive 公司调优总结(一)
1.开启Fetch抓取 Hive优化(十四)- Fetch抓取（Hive可以避免进行MapReduce） 2.使用本地模式 Hive优化(十五)-本地模式（小数据集缩短执行时间） 3.表的优化 Hive优化(九)-表优化 4.数据倾斜 Hive优化(五)-避免数据倾斜 ​ 某一个reduce处理数据量太大，产生处理效率降低。 1)map个数的设置 blocksize mi...
作者小头像 百忍成金的虚竹
1456
0
0
2021-03-28 00:25:31
999+
0
0
Hive基础增强-（窗口函数）
一.原始数据 jack,2017-01-01,10 tony,2017-01-02,15 jack,2017-02-03,23 tony,2017-01-04,29 jack,2017-01-05,46 jack,2017-04-06,42 - tony,2017-01-07,50 jack,2017-01-08,55 mart,2017-04-08,62 - mart,...
作者小头像 百忍成金的虚竹
1904
0
0
2021-03-27 23:46:25
999+
0
0
Hive 自定义函数 UDF
Hive 自定义函数 UDF UDF：用户定义（普通）函数，只对单行数值产生作用； UDF只能实现一进一出的操作。 定义udf 计算两个数最小值 public class Min extends UDF { public Double evaluate(Double a, Double b) { if (a == null) a = 0.0; if (b == null) ...
作者小头像 百忍成金的虚竹
1462
0
0
2021-03-27 23:40:27
999+
0
0
双层flume搭建过程中遇到的坑
INFO - Creating /user/hive/warehouse/ods.db/origin_user_behavior/19-04-19/events.1555671386480.tmp ERROR - Avro source r2: Unable to process event batch. Exception follows. org.apache.flume....
作者小头像 百忍成金的虚竹
780
0
0
2021-03-27 23:59:22
780
0
0
总条数：209
  • 1
  • ...
  • 5
  • 6
  • 7
  • ...
  • 21
到第 页

上滑加载中

https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信