nginx日志分析

举报
互联网老辛 发表于 2021/06/08 22:40:50 2021/06/08
【摘要】 在nginx.conf中定义的日志格式如下:    http {        ...            log_format  main  '$remote_addr - $remote_user [$time_local...

在nginx.conf中定义的日志格式如下:


   
  1.    http {
  2.        ...
  3.    
  4.        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
  5.                          '$status [$request_body] $body_bytes_sent "$http_referer" '
  6.                          '"$http_user_agent" "$http_x_forwarded_for"';
  7.        ...
  8.    }


日志文件如下:

116.2.52.247 - - [26/Oct/2017:15:04:00 +0000] "POST /api/v1/f1_static/ HTTP/1.1" 200 [{\x22user_id\x22:\x229b999d46dd6149f49\x22}] 323 "http://www.abc.com/ProductPerspective/detail/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" "-"116.2.52.247 - - [26/Oct/2017:15:04:00 +0000] "OPTIONS /api/v1/fund_info/ HTTP/1.1" 200 [-] 31 "http://www.abc.com/ProductPerspective/detail/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36" "-"
  

nginx没有命令直接将日志按天分割,我们写了一个shell脚本,每日0点定时执行。


   
  1. #!/bin/bashlogs_path="/mydata/nginx/logs/"
  2. mv ${logs_path}access-web.log ${logs_path}access-web-$(date -d "yesterday" +"%Y%m%d").logmv ${logs_path}access-api.log ${logs_path}access-api-$(date -d "yesterday" +"%Y%m%d").log

cron:

0 0 * * * /mydata/nginx/nginx.log.sh
  

从nginx服务器将日志数据传输到日志服务器


   
  1. [root@VM_231_116_centos ~]
  2. root@10.105.83.34's password:
  3. access-power-20170929.log 100%  126KB 125.8KB/s  00:00
  4. access-web-20171016.log   100% 2616KB  2.6MB/s  00:00
  5. access-power-20170907.log  100% 1687KB  1.7MB/s  00:00
  6. access-api-20170911.log    100% 1209KB  1.2MB/s  00:00
  7. access-power-20170930.log   100% 1354KB  1.3MB/s  00:00
  8. access.log   100%  45MB  45.2MB/s  00:00
  9. access-api-20170907.log  100% 2960KB  2.9MB/s  00:00
  10. access-power-20170906.log  100%  669KB 669.1KB/s  00:01
  11. access-api-20170904.log   100% 9186KB  9.0MB/s  00:00
  • 服务器之间文件(夹)复制


   
  1. scp local_file remote_username@remote_ip:remote_folder  或者  
  2. scp local_file remote_username@remote_ip:remote_file  
  3. scp -r local_folder remote_username@remote_ip:remote_folder

主要有几点:

  1. 逐行解析

  2. 正则匹配

  3. 日期的处理

  4. 批量写入数据库


   
  1. import reimport timeimport osimport arrowimport pandas as pdimport jsonimport io_tosqlimport shutil
  2. from sqlalchemy import create_engine
  3. engine_user_info = create_engine(    "mysql+pymysql://{}:{}@{}:{}/{}".format('usr', 'pwd', 'host','port', 'db'),
  4.    connect_args={"charset": "utf8"})
  5. def parse(filename):
  6.    month_abr = {"Jan":"01", "Feb":"02", "Mar":"03", "Apr":"04", "May":"05", "Jun":"06",                 "Jul":"07", "Aug":"08", "Sep":"09", "Oct":"10", "Nov":"11", "Dec":"12"}
  7.    dfs = []
  8.    try:
  9.        i = 0
  10.        file = open(filename)        for line in file:
  11.            pattern = "(\d+\.\d+\.\d+\.\d+).*?\[(.*?)\].*?(\w+) (/.*?) .*?\" (\d+) \[(.*?)\] (\d+) \"(.*?)\" \"(.*?)\" \"(.*?)\""
  12.            s = re.search(pattern, line)            if s:
  13.                remote_addr = s.group(1)
  14.                local_time = s.group(2)
  15.                request_method = s.group(3)
  16.                request_url = s.group(4)
  17.                status = s.group(5)
  18.                request_body = s.group(6)
  19.                body_bytes_sent = s.group(7)
  20.                http_referer = s.group(8)
  21.                http_user_agent = s.group(9)
  22.                http_x_forwarded_for = s.group(10)
  23.                
  24.                for mon in month_abr.keys():                    if mon in local_time:
  25.                        local_time = local_time.replace(mon, month_abr[mon])                        break
  26.                lt = arrow.get(local_time, "DD/MM/YYYY:HH:mm:ss")
  27.                lt = lt.shift(hours=8)
  28.                local_time = str(lt.datetime)
  29.                i = i+1
  30.                
  31.                if request_body != '-':                    try:
  32.                        request_body = request_body.replace(r'\x22', '"').replace("null", '""')
  33.                        request_body_dict = json.loads(request_body)
  34.                        fund_id = request_body_dict.get('fund_id', None)
  35.                        user_id = request_body_dict.get('user_id', None)                        if user_id is None:
  36.                            user_id = request_body_dict.get('userId', None)                    except Exception as e:
  37.                        print("request_body:{}".format(request_body))
  38.                        print(e)
  39.                        fund_id = None
  40.                        user_id = None
  41.                else:
  42.                    fund_id = None
  43.                    user_id = None
  44.                if request_method not in ("GET", "POST"):                    
  45.                    continue
  46.  
  47.                df = pd.DataFrame({"remote_addr": [remote_addr], "request_method": [request_method], "local_time": [local_time],                                                "request_url": [request_url], "status": [status], "request_body": [request_body],                                                "body_bytes_sent": [body_bytes_sent], "http_referer": [http_referer],                                                "http_user_agent": [http_user_agent], "http_x_forwarded_for": [http_x_forwarded_for],                                                "fund_id": [fund_id], "user_id": [user_id]
  48.                                                })
  49.                df['create_at'] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time()))
  50.                
  51.                dfs.append(df)
  52.                
  53.                if len(dfs) >= 100:
  54.                    df_all = pd.concat(dfs)
  55.                    df_all = df_all.drop_duplicates(subset=['remote_addr', 'request_url','local_time'])                    
  56.                    df_all.to_sql("log_table", engine, if_exists="append", index=False)
  57.                    print("写入长度为:" + str(len(df_all)))
  58.                    dfs = []
  59.  
  60.        df_all = pd.concat(dfs)
  61.        df_all = df_all.drop_duplicates(subset=['remote_addr', 'request_url','local_time'])
  62.        df_all.to_sql("log_table", engine, if_exists="append", index=False)
  63.    except Exception as e:
  64.        print(e)

日志结构化写入数据库后,到前端页面可以多维度展示,下面是展示页面示例:

  • 统计每日活跃IP数

  • 统计每日API请求次数

  • 分类分析

文章来源: zmedu.blog.csdn.net,作者:互联网老辛,版权归原作者所有,如需转载,请联系作者。

原文链接:zmedu.blog.csdn.net/article/details/103259796

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。