四大网络抓包神器,总有一款适合你~

举报
民工哥 发表于 2022/04/01 00:52:33 2022/04/01
【摘要】 点击上方“民工哥技术之路”选择“星标” 每天10点为你分享不一样的干货 一、概述 无论是开发还是测试,在工作中经常会遇到需要抓包的时候。本篇博客主要介绍如何在各个平台下,高效的抓包。目前的抓包软件总体可以分为两类,一种是设置代理抓取http包,比如Charles、mitmproxy这些软件。 另一种是直接抓取经过网卡的所有协议包,其中最...

点击上方“民工哥技术之路”选择“星标”

每天10点为你分享不一样的干货

一、概述

无论是开发还是测试,在工作中经常会遇到需要抓包的时候。本篇博客主要介绍如何在各个平台下,高效的抓包。目前的抓包软件总体可以分为两类,一种是设置代理抓取http包,比如Charles、mitmproxy这些软件。

另一种是直接抓取经过网卡的所有协议包,其中最出名就是大名鼎鼎的wireshark以及linux自带的抓包软件tcpdump。下面重点介绍一下这四个抓包工具的特点以及使用。

二、Wireshark

wireshark想必大多数程序员都不会陌生。wireshark在各个平台都可以安装使用,它可以抓取经过指定网卡的所有协议。wireshark虽然很强大,但是对初学者其实不是很友好。

这也正是由于它太强大,它可以抓取所有包,所以初学者在使用时面对茫茫数据流不知所措。初学者需要认真的去学习怎么过滤得到自己感兴趣的包,但是如果不熟悉wireshark的过滤语法,要过滤数据包将举步维艰。

过滤语法简单介绍

wireshark的过滤语法总结起来其实也很简单,就是以协议开头,后面可以跟着协议的属性,然后加上一些判断符号,比如contains、==、>、<等等。比如只想展示http的协议内容,则直接在过滤器输入框中输入http即可。如下图:

640?wx_fmt=png

比如我只想看http协议的请求头中uri包含’/api’的协议,就可以这么写:

640?wx_fmt=png

如果想通过目标ip或者来源ip来过滤包,就不可以以http协议为前缀了,因为这些是ip协议的相关属性。通过目标ip来过滤可以这么写:

640?wx_fmt=png

上面表示目标机器的ip是61.135.217.100并且协议是http的包。

wireshark支持很多种协议,我们可以通过右上角的expression来打开搜索支持的协议,还可以找出协议支持的属性,然后填入期待的值,软件会自动为我们构建过滤语句。

640?wx_fmt=png

优缺点

优点

1、功能强大,可以抓取所有协议的包

2、抓到的包容易分析

缺点

1、由于线上服务器没有GUI,只有命令行,因此无法在线上服务器使用

2、无法分析https数据包,由于wireshark是在链路层获取的数据包信息,所以获取到的https包是加密后的数据,因此无法分析包内容。当然,我们可以对https数据包进行解密, 但是操作具有一定的复杂度,可能要消耗很多时间。

三、Tcpdump

tcpdump是linux上自带的一个抓包软件(mac也有),功能强大,也可以抓取经过指定网卡的所有协议包。由于是命令行工具,tcpdump抓取到的包不易于分析,一个常见的做法是将tcpdump抓到的包输出到某个文件,然后将文件拷贝下来用wireshark分析。

tcpdump的简单使用介绍

下面的语句参考文章:https://www.cnblogs.com/ggjucheng/archive/2012/01/14/2322659.html

一些简单的过滤参数:


  
  1. # -i 参数表示抓取指定网卡的内容。具体网卡可以通过 ifconfig 命令查看
  2. # 如果不指定网卡,默认tcpdump只会监视第一个网络接口
  3. tcpdump -i eth1
  4. # 打印所有www.baidu.com相关的包,这个host后面可以填 域名,也可以填ip
  5. tcpdump host www.baidu.com
  6. tcpdump host 192.168.0.1
  7. # 打印 nn1和nn2或nn3 主机间通信的包,这里可以替换成ip
  8. tcpdump host nn1 and \( nn2 or nn3 \)
  9. # 打印nn1和非nn2之间的ip数据包
  10. tcpdump ip host nn1 and not nn2
  11. # 发送者是nn1的数据包
  12. tcpdump -i eth0 src host nn1
  13. # 接受者是nn1的数据包
  14. tcpdump -i eth0 dst host nn1
  15. # 指定tcp端口是23以及host是210.27.48.1数据包
  16. tcpdump tcp port 23 and host 210.27.48.1

抓包内容输出到文件:


  
  1. # 抓取指定网卡的包输出到test.cap
  2. tcpdump -i en0 -w test.cap

之后我们可以把test.cap直接用wireshark打开,就可以很直观的分析包了。

用tcpdump输出cap文件包:

tcpdump -r test.cap

 

优缺点

优点

缺点

四、Charles

Charles是一款http抓包工具,它是通过代理来实现的抓包。也就是我们在访问网页时需要配置代理,将代理指向Charles监听的端口,之后我们的http请求都会发向Charles的端口,之后Charles会帮我们转发并记录协议内容。

Charles的使用非常简单,配置好代理后,Charles就开始抓包了。我们可以直接通过Charles的GUi查看包的内容:

640?wx_fmt=png

上图中的unknown表示https加密后的数据,所以看到不协议的具体内容。我们可以通过安装Charles的证书,让Charles也可以查看https协议的具体内容。

640?wx_fmt=png

优缺点

优点

1、使用简单,只需配置一下代理地址就可以
2、要抓取https协议的配置也很简单,只要安装下charles的证书就可以了

缺点

五、mitmproxy

mitmproxy是python写的一款http抓包工具,虽然只支持http抓包,但是它的特性非常强大,它不仅可以抓包,还可以对请求进行拦截、重现等操作。和Charles一样,它的原理也是基于代理,使用的时候需要设置代理指向它。

mitmproxy是命令行工具,但是也自带了mitmweb工具,可以让用户在网页上操作。另外,mitmproxy还支持用户自行编写插件,可以编写脚本对请求进行处理,然后把修改后的请求发出去。

安装

首先需要在机器安装python3以及pip3.之后通过pip3安装

pip3 install mitmproxy

 

如果安装mitmproxy过程中报错ModuleNotFoundError: No module named '_ssl',就需要安装一下OpenSSL,然后再重新编译安装一下python3。


  
  1. yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c++
  2. # 去Python3的安装目录再次安装编译一次python3
  3. make && make install

安装好 openSSL 后再执行pip3 install mitmproxy

使用

安装后,直接在命令行输入mitmproxy就会进入它的交互界面:

640?wx_fmt=png

这时候mitmproxy已经开始监听8080端口(默认),接着,我们可以去浏览器设置代理。浏览器设置代理的方式有很多,这里不多做介绍。

设置完代理后,访问浏览器的请求都会被发到mitmproxy上,mitmproxy根据规则对请求进行拦截(不配置拦截规则的话则都不拦截),所有经过的请求都会被输出:

640?wx_fmt=png

在交互界面上可以通过快捷键操作请求。输入问号’?’,可以查看快捷键的文档。

640?wx_fmt=png

下面介绍一些常用的快捷键和功能:

1. 请求过滤

在请求列表交互界面,按下f键后,可以输入一些过滤规则:

640?wx_fmt=png

具体的过滤语法可以按下’?‘键后,再按下方向键右’—>’或者l键。

640?wx_fmt=png

2. 请求拦截

按下i键后,可以对指定的请求进行拦截。按mitmproxy收到指定条件的请求时,不会立马把它转发出去,而是等待我们执行resume操作后,才会把请求转发出去——在这期间我们甚至可以对请求进行手动修改。

640?wx_fmt=png

红色字体表示该请求被拦截

之后我们可以按入a键来恢复该请求,可以输入A键恢复所有被拦截的请求。

3.查看/编辑请求

把指示光标移动到某个请求上,按回车可以查看请求的内容。或者鼠标直接点击请求也可以。

640?wx_fmt=png

之后通过左右方向键可以查看request、response、detail等信息。

如果要编辑请求,可以在这个界面输入e,然后会让我们选择编辑哪块内容:

640?wx_fmt=png

之后就会进入vim编辑界面编辑相应的内容了(保存后会生效)。

4. 重发请求

mitmproxy的光标指向某个请求时,按下r键可以重发这个请求(重发前可以对该请求进行编辑)。

640?wx_fmt=png

按下’:’键后,可以输入命令,这样我们就可以通过过滤规则批量的重发请求

640?wx_fmt=png

replay.client是mitmproxy内置的一个命令,我们也可以自行编写命令。命令的编写可以参考官网文档,这里不做介绍。

5. 插件开发

我们可以编写插件,然后再启动的时候指定插件,mitmproxy处理请求的时候会执行一个插件的链,这样我们就可以对请求进行编辑然后再发送出去了。

借用官网的插件demo:


  
  1. from mitmproxy import ctx
  2. class Counter:
  3. def __init__(self):
  4. self.num = 0
  5. def request(self, flow):
  6. self.num = self.num + 1
  7. ctx.log.info("We've seen %d flows" % self.num)
  8. addons = [
  9. Counter()
  10. ]

这个方法对每一个请求进行处理,然后打印序号。通过mitmproxy -s test.py来让插件生效。通过插件可以绑定各种连接事件。感兴趣的朋友可以自行去mitmproxy官网看文档,这里不多做介绍。

6. 保存抓到的请求数据

通过w快捷键我们可以把这次抓到的请求包保存到文件上。

通过mitmproxy -r file可以读取以前抓取的请求信息进行分析。

优缺点

优点

1、命令行操作,可以在无GUI界面的服务器上使用

缺点

六、总结

对于这几个抓包神器,我总结了下使用场景:

  1. 只抓http协议的话,推荐使用mitmproxy。mitmproxy丰富的功能不仅可以满足我们的抓包需求,还可以提升我们的工作效率。比如测试可以抓包后一键重发请求来重现bug,开发调试的时候可以修改请求内容等等。

  2. 如果是在线上的没有GUI的服务器,推荐使用tcpdump,虽然mitmproxy也可以支持命令行抓包,但是生产环境的服务器最好不要乱安装第三方插件。另外,大多数服务器都有装tcpdump。我们可以通过把请求的内容输出到文件,然后拷贝会自己的电脑用wireshark分析。

  3. 想要抓取http以外的协议的话,直接上wireshark。功能强大

  4. 对于Charles,感觉用了mitmproxy之后,就基本用不上Charles了。Charles好像也可以编辑后再发送,但是感觉不是很好用,可能我用的不是很熟吧。

作者:疯狂哈丘,本文经授权转载。

关注 民工哥技术之路 微信公众号对话框回复关键字:1024 可以获取一份最新整理的技术干货:包括系统运维、数据库、redis、MogoDB、电子书、Java基础课程、Java实战项目、架构师综合教程、架构师实战项目、大数据、Docker容器、ELK Stack、机器学习、BAT面试精讲视频等。

640?wx_fmt=gif

文章来源: mingongge.blog.csdn.net,作者:民工哥,版权归原作者所有,如需转载,请联系作者。

原文链接:mingongge.blog.csdn.net/article/details/102848924

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200