《Python爬虫100例》复盘⑦,解决手机APP爬虫环境问题

举报
梦想橡皮擦 发表于 2021/11/13 00:06:51 2021/11/13
【摘要】 文章目录 案例 41:Fiddler+夜神模拟器案例 42:爬取儿歌多多APP数据案例 43:百思不得姐APP数据案例 44:Charles安装与使用案例 45:Charles抓取兔儿故事案例 4...

案例 41:Fiddler+夜神模拟器

这篇案例主要学习的其实是 Fiddler + 夜神模拟器的环境配置,因为多数情况下捕捉到手机APP的接口,就已经解决了爬虫的最大问题。

案例中使用的 fiddler 是 4.0 版本,整体的安装流程复盘了一下,无大问题。
学习过程中重点注意的是[证书的安装],包括电脑证书,手机端证书。

这里也发现了一个评论,询问手机端证书问题,如果发现证书直接点击无法安装,请在手机端设置->安全 里面找到从 SD卡安装证书,导入即可。

夜神模拟器就是一款普通软件,按照正常流程安装即可。
建议下载历史版本:https://support.yeshen.com/zh-CN/win-release/6612,最新版本使用的是安卓7.0,可能会碰到一些比较难的点。

案例 42:爬取儿歌多多APP数据

这篇案例重点学习 Fiddler 与模拟器的配合,过程中捕获的接口,测试之后,发现可以使用。

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1

  
 
  • 1

案例 43:百思不得姐APP数据

好家伙,这个APP没有了,建议大家切换一个段子类的APP,就可以继续学习啦,流程是一致的。

建议:段子大全,糗事段子手,内涵段子,每日经典段子……

案例 44:Charles安装与使用

本篇博客与案例41一致,使用的是另一款抓包软件 Charles,学习难度不大,安装之后,可以配合夜神模拟器获取到数据即可。

案例 45:Charles抓取兔儿故事

依旧是APP不存在了,好多APP竟然还没有我们的课程【存在】的时间长,这里将 《兔儿故事》这款APP,切换为任意“儿童故事类APP”,即可实现一样的逻辑。

例如:幼儿园歌谣大全,宝宝催眠曲,宝宝学唱儿歌……

案例 46:Charles抓取手机收音机

本案例无问题,在博客中曾提及了 “荔枝APP”,可以去操作一把。

接口依旧可用:https://rapi.qingting.fm/categories/442/channels?&page=1&pagesize=30

案例 47:mitmproxy安装与模拟器

本案例主要介绍的是爬虫辅助工具 mitmproxy,你将其理解为网页版的 Fiddler 就行,使用方式也十分类似。

原博客写作的时间始2019年1月,现在已经是2021年11月了,重点注意博客中的最后一张图片。

如果信仰有颜色,那一定是中国红!

案例 48:使用mitmdump抓取手机惠农APP

接口可用,案例无问题,《手机惠农》APP,好样的。

案例 49:Appium安装+操作51JOB_APP

这篇博客的重点是 Appium 的安装,在原版博客中使用的是 Appium-DeskTop 1.10 版本,如今你在打开其最新版本,已经变为了 v1.22.0,而且 Appium Inspector 也被分离了出去,关于 Appium 的安装教程,我将在新版《Python爬虫120例》中进行专门展示,如果你已经订阅 《Python爬虫100例》,可以联系我获得单独的PDF文件。

Python 爬虫 100 例专栏,有反爬相关教程,学起来
《Python 爬虫100 例》

今日复盘结论

今天复盘了 9 个案例,本部分博客,内容主要围绕手机APP抓包,所以在学习的时候,重点在抓包工具的采集与与安装上,各种APP,你可以去任意安卓商店下载、测试。

收藏时间

本期博客收藏过 400,立刻更新下一篇

今天是持续写作的第 260 / 200 天。
可以关注我,点赞我、评论我、收藏我啦。

更多精彩


在这里插入图片描述

文章来源: dream.blog.csdn.net,作者:梦想橡皮擦,版权归原作者所有,如需转载,请联系作者。

原文链接:dream.blog.csdn.net/article/details/121289717

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。