建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

Lothar

发帖: 5粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-9-10 20:51:20 112 2 楼主 显示全部楼层
[技术交流] 使用MRS Hive查询弹性负载均衡日志

使用Hive建表

建表语句样例:

CREATE EXTERNAL TABLE IF NOT EXISTS elb_logs (
 msec string,
 access_log_topic_id string,
 time_iso8601 string,
 log_ver string,
 remote_addr string,
 remote_port string,
 status string,
 request_method string,
 request_uri string,
 server_protocol string,
 request_length int,
 bytes_sent int,
 body_bytes_sent int,
 request_time double,
 upstream_status string,
 upstream_connect_time double,
 upstream_header_time double,
 upstream_response_time double,
 upstream_addr string,
 upstream_port string,
 http_user_agent string,
 http_referer string,
 http_x_forwarded_for string,
 lb_name string,
 listener_name string,
 listener_id string,
 pool_name string,
 member_name string,
 tenant_id string,
 eip_address string,
 eip_port string,
 upstream_addr_priv_ip string,
 upstream_addr_priv_port string,
 certificate_id string,
 ssl_protocol string,
 ssl_cipher string,
 sni_domain_name string,
 tcpinfo_rtt int
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
 'serialization.format' = '1',
 'input.regex' = '([^ ]*) ([^ ]*) \\[([^ ]*)\\] ([^ ]*) ([^ ]*):([0-9]*) (|[-0-9]*) \\\"([^ ]*) ([^ ]*) (- |[^ ]*)\\\" (|[-0-9]*) (|[-0-9]*) (|[-0-9]*) ([-.0-9]*) \\\"(|[-0-9]*)\\\" \\\"([-.0-9]*)\\\" \\\"([-.0-9]*)\\\" \\\"([-.0-9]*)\\\" \\\"([^ ]*):([0-9]*)\\\" \\\"(.*?)\\\" \\\"([^ ]*)\\\" \\\"(.*?)\\\" ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) \\\"([^ ]*)\\\" ([^ ]*) ([^ ]*):([0-9]*) \\\"([^ ]*):([0-9]*)\\\" ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (|[-0-9]*)' )
LOCATION 'obs://xxx/xxx/';

正则表达式匹配2019.9.10日ELB日志格式,请参考ELB说明文档:https://support.huaweicloud.com/usermanual-elb/zh-cn_topic_0150301848.html

执行查询语句

SELECT
 msec,
 request_uri
FROM elb_logs
WHERE status LIKE '2%'
LIMIT 10;
举报
分享

分享文章到朋友圈

分享文章到微博

Joey啊

发帖: 50粉丝: 1

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于7 天前 沙发 显示全部楼层

点赞 回复 举报

Joey啊

发帖: 50粉丝: 1

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于7 天前 板凳 显示全部楼层

点赞 回复 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册