hive 解析 json 数据

hive 解析 json 数据

有这么两个函数：get_json_object()和json_tuple()

1. 取出单个字段

get_json_object(STRING json_string, STRING path)

get_json_object函数

• 第一个参数填写json对象变量，
• 第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；

举个例子

select get_json_object(key,'$.uuid') from ff_sa.sa06_ff_b1_session_olg where etl_tx_dt =20190617

  

 

  
1
 

log表里面的key字段是一串json 数据

注意：如果字段名称错误，不会报错，但结果会是null

select get_json_object(key,'$.uuid1') from ff_sa.sa06_ff_b1_session_olg where etl_tx_dt =20190617　　


  

 

  
1
  
2
 

如果取出多层数据的话
举例：
data 为 test表中的字段，数据结构如下：

data =
{
"store":
       {
        "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],  
        "bicycle":{"price":19.95,"color":"red"}
        }, 
"email":"amy@only_for_json_udf_test.net", 
"owner":"amy" 
}


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
 

-- 1.get单层值

hive> select  get_json_object(data, '$.owner') from test;
结果：amy

-- 2.get多层值.

hive> select  get_json_object(data, '$.store.bicycle.price') from test;
结果：19.95

-- 3.get数组值[]

hive> select  get_json_object(data, '$.store.fruit[0]') from test;
结果：{"weight":8,"type":"apple"}


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
 

2 .同时取多个字段

3、json_tuple– 获取多个参数

使用方法：

select json_tuple(key,'uuid','appName') from ff_sa.sa06_ff_b1_session_olg where etl_tx_dt =20190617　　

  

 

  
1
 

或者

select get_json_object(key,'$.uuid'),get_json_object(key,'$.appName') from ff_sa.sa06_ff_b1_session_olg where etl_tx_dt =20190617　　

  

 

  
1
 

错误的写法

select json_tuple(key,'$.uuid','$.appName') from ff_sa.sa06_ff_b1_session_olg where etl_tx_dt =20190617

  

 

  
1
 

引用

https://www.cnblogs.com/dcx-1993/p/11044202.html

https://blog.csdn.net/qq_34105362/article/details/80454697

文章来源: hiszm.blog.csdn.net，作者：孙中明，版权归原作者所有，如需转载，请联系作者。

原文链接：hiszm.blog.csdn.net/article/details/118798069