本次博主为大家带来的是Hive的自定义函数。

一. 系统内置函数

• 查看系统自带的函数

hive> show functions;

  

 

  
1
 

  我们可以看到hive自带的函数就有两百多个,但我们平时经常用到的可能就那么几个,并且自带的函数功能还十分受限!有时候,为了更好的实现业务需求,这时就需要我们去自定义Hive!在介绍自定义函数之前，还是要把系统内置函数的使用方法介绍一下。

• 显示自带的函数的用法

hive> desc function upper(函数名称);

  

 

  
1
 

• 详细显示自带的函数的用法

hive> desc function extended upper(函数名称);

  

 

  
1
 

二. 自定义函数

  当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
根据用户自定义函数类别分为以下三种：

• （1）UDF（User-Defined-Function）
  一进一出

• （2）UDAF（User-Defined Aggregation Function）
  聚集函数，多进一出
  类似于：count/max/min

• （3）UDTF（User-Defined Table-Generating Functions）
  一进多出
  如lateral view explore()

编程步骤：

（1）继承org.apache.hadoop.hive.ql.exec.UDF
（2）需要实现evaluate函数；evaluate函数支持重载；
（3）在hive的命令行窗口创建函数
  1. 添加jar
java add jar linux_jar_path
  2. 创建function
java create [temporary] function [dbname.]function_name AS class_name;
（4）在hive的命令行窗口删除函数

Drop [temporary] function [if exists] [dbname.]function_name; ```

   

  

   
1
  

注意事项：

（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；
（2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

三. 自定义UDF函数

• 1. 创建一个Maven工程Hive，并导入依赖

<dependencies>
		<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
		<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version>
		</dependency>
</dependencies>


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
 

• 2. 创建一个类Lower

package com.buwenbuhuo.hive;

import org.apache.hadoop.hive.ql.exec.UDF;

/**
 * @author 卜温不火
 * @create 2020-04-30 12:07
 * com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
 * hiveplugins - the name of the current project.
 */
public class Lower extends UDF { public String evaluate (final String s) { if (s == null) { return null; } return s.toLowerCase(); }
}



  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
 

• 3. 打包并上传到服务器
  
  
• 4. 将jar包添加到hive的classpath

hive (default)> add jar /opt/module/hive/lib/udf.jar;


  

 

  
1
  
2
 

• 5. 创建临时函数与开发好的java class关联(永久的函数将temporary删掉)

hive (default)> create temporary function mylower as "com.buwenbuhuo.hive.Lower";

  

 

  
1
 

• 6. 调用验证

hive (myhive)> select id, mylower(id) lowername from stu2;

  

 

  
1
 

四. 通过reflect调用java方法

  是不是感觉上述方法略显繁琐。下面介绍的就是简单方法

• 1. 打包上传业务逻辑

package com.buwenbuhuo.hive;

/**
 * @author 卜温不火
 * @create 2020-04-30 12:36
 * com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
 * hiveplugins - the name of the current project.
 */
class JAVA_02  { public static String addInfo(String info){ return info+"__, I love Hive! __ "; }
}


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
 

• 2. 将jar包添加到hive

hive (myhive)> add jar /opt/module/hive/lib/hive_java.jar;


  

 

  
1
  
2
 

• 3. 调用

select reflect (‘参数一’,‘参数二’,‘参数三’)

  

 

  
1
 

参数一: 包名-类名
参数二: 方法名
参数三:需要计算的数据

本次的分享就到这里了,

  $看完就赞，养成习惯！！！$^ _ ^ ❤️ ❤️ ❤️
  码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！

文章来源: buwenbuhuo.blog.csdn.net，作者：不温卜火，版权归原作者所有，如需转载，请联系作者。

原文链接：buwenbuhuo.blog.csdn.net/article/details/105857743