渗透测试基础- - -web日志分析

iis日志详解

1，查看方式

由于不同的 Windows 版本，iis日志路径不一样，所以分别介绍如下：

Windows Server 2003 iis 6日志路径：C:\Windows\System32\LogFiles

Windows Server 2008 R2、2012、2016、2019 iis7以上日志路径：C:\inetpub\logs\LogFiles

2，详解

date表示记录访问日期；

time访问时间；

cs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；

cs-uri-stem就是访问哪一个文件；

cs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；

c-ip访问者IP；

cs(Referer)访问来源；

sc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；

sc-bytes服务端传送到客户端的字节大小；

cs-bytes客户端传送到服务端的字节大小；

time-taken处理时间。

Log Parser快速日志分析工具

下载地址:

大家可以在微软官网下载、安装。安装过程很简单，一步到位。下载链接： http://www.microsoft.com/en-us/download/details.aspx?id=24659

用法：

LogParser. exe "select top 10 time, c-ip, cs-uri-stem, sc-status, time-taken from C:Usersliuhao02Desktop\应急\样本Vis.log"-o:datagrid

通过这条Web访问日志，我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面，是否访问成功。

windows系统Apache日志分析工具：Apache log viewer

Apache日志字段说明：

访问日志access_log记录了所有对Web服务器的访问活动，下面是访问日志access_log中的一个标准记录

192.168.115.5 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45

日志字段所代表的内容如下：

1.远程主机IP：表明访问网站的是谁

2.空白(E-mail)：为了避免用户的邮箱被垃圾邮件骚扰，第二项就用“-”取代了

3.空白(登录名)：用于记录浏览者进行身份验证时提供的名字。

4.请求时间：用方括号包围，而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。

5.方法+资源+协议：服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”，即“方法 资源 协议”。

METHOD: GET、POST、HEAD、……RESOURCE: /、index.html、/default/index.php、……（请求的文件）PROTOCOL: HTTP+版本号

6.状态代码：请求是否成功，或者遇到了什么样的错误。这项值是200，它表示服务器已经成功地响应浏览器的请求，一切正常。

7.发送字节数：表示发送给客户端的总字节数。它告诉我们传输是否被打断（该数值是否和文件的大小相同）。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据.

linux系统Apache日志分析技巧：

1、列出当天访问次数最多的IP命令：

cut -d- -f 1 log_file|uniq -c | sort -rn | head -20

2、查看当天有多少个IP访问：

awk '{print $1}' log_file|sort|uniq|wc -l

3、查看某一个页面被访问的次数：

grep "/index.php" log_file | wc -l

4、查看每一个IP访问了多少个页面：

awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file

5、将每个IP访问的页面数进行从小到大排序：

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

6、查看某一个IP访问了哪些页面：

grep ^111.111.111.111 log_file| awk '{print $1,$7}'

7、去掉搜索引擎统计当天的页面：

awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l

8、查看2021年6月21日14时这一个小时内有多少IP访问:

awk '{print $4,$1}' log_file | grep 21/Jun/2021:14 | awk '{print $2}'| sort | uniq | wc -l

日志统计分析技巧

统计爬虫：

grep -E 'Googlebot|Baiduspider' /www/logs/access.2019-02-23.log | awk '{ print $1 }' | sort | uniq

统计浏览器：

cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100

IP 统计：

grep '23/May/2019' /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 10

统计网段：

cat /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200

统计域名：

cat /www/logs/access.2019-02-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more

HTTP Status：

cat /www/logs/access.2019-02-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more

URL 统计：

cat /www/logs/access.2019-02-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more

文件流量统计：

cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more grep ' 200 ' /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more

URL访问量统计：

cat /www/logs/access.2019-02-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort - rn | more

脚本运行速度：查出运行速度最慢的脚本

grep -v 0$ /www/logs/access.2019-02-23.log | awk -F '\" ' '{print $4" " $1}' web.log | awk '{print $1" "$8}' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt

IP, URL 抽取：

# tail -f /www/logs/access.2019-02-23.log | grep '/test.html' | awk '{print $1" "$7}'

刪除一个月前的日志：

rm -f /www/logs/access.log.$(date -d '-1 month' +'%Y-%m')*