Python爬虫入门教程 48-100 使用mitmdump抓取手机惠农APP-手机APP爬虫部分

1. 爬取前的分析

mitmdump是mitmproxy的命令行接口，比Fiddler、Charles等工具方便的地方是它可以对接Python脚本。
有了它我们可以不用手动截获和分析HTTP请求和响应，只需写好请求和响应的处理逻辑即可。
它还可以实现数据的解析、存储等工作，这些过程都可以通过Python实现。

1.1 启动mitmdump 保存到文件

使用命令

mitmdump -w crawl.txt  

  

 

  
1
 

其中 crawl.txt 可以为任意文件名，就可以保存相应的结果了

1.2 调用脚本文件

mitmdump -s script.py

  

 

  
1
 

script.py 文件中编写如下代码

# 修改UA
def request(flow): flow.request.headers[<
  

 

  
1
  
2
 

文章来源: dream.blog.csdn.net，作者：梦想橡皮擦，版权归原作者所有，如需转载，请联系作者。

原文链接：dream.blog.csdn.net/article/details/86611168