X果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

举报
梦想橡皮擦 发表于 2022/02/16 14:01:12 2022/02/16
【摘要】 在 上一篇博客 中,我们已经在电脑上安装了 fiddler,并且在手机端通过 VirtualXposed + JustTrustMe 实现了 APP 的数据抓取。本篇博客,咱们继续切换一款常见的 APP,查看一下其对外提供了哪些数据接口。很多接口都能用来练习爬虫滴。打开小米应用商店,找到装机必备,在其中发现一款 “豆果美食” APP,这里肯定有很多菜谱,靠谱。在正式捕获接口前,先把 fidd...

上一篇博客 中,我们已经在电脑上安装了 fiddler,并且在手机端通过 VirtualXposed + JustTrustMe 实现了 APP 的数据抓取。

本篇博客,咱们继续切换一款常见的 APP,查看一下其对外提供了哪些数据接口。

很多接口都能用来练习爬虫滴。

打开小米应用商店,找到装机必备,在其中发现一款 “豆果美食” APP,这里肯定有很多菜谱,靠谱。

在正式捕获接口前,先把 fiddler 已有的请求和响应清理干净。

捕获请求

VirtualXposed 中加载 豆果美食,然后等待安装完毕,进入其首页,在APP中进行简单的拖动,此时眼睛一直看着 fiddler 请求窗口即可。

上图已经出现了与域名 douguo.net 相关的请求,并且返回了对应的数据,有图片、有文本内容,这里可以重点关注 body 列,注意观察接口返回数据的大小,太小肯定就不是服务器响应的数据啦。

抓包过程中,随时按下 F12 键,停止捕获请求,这样才能更好的分析页面,否则在部分手机中,会持续的刷新请求接口。

继续选择一个选项卡,下拉页面,得到如下接口内容,查看详情后发现 【笔记】页的接口,我们已经捕获到。

模拟请求

在请求地址上右键,选择复制地址,这一步骤很重要,需要将该地址复制到电脑端的浏览器,查看接口是否存在加密,不过本案例得到的接口地址是 POST,这就比较麻烦了,需要通过 fiddler 中的请求构造器 composer 完成测试。

切换到 composer 功能区,拖拽上文捕获到的地址,然后点击 execute(执行) 获取一个新的请求。

新的请求也会被 fiddler 捕获到,在请求窗口中,下拉即可找到,重点注意该请求是否成功返回数据。

接下来的步骤就是对参数的分析与整理。

参数分析

下面就是本案例的核心环节了,分析请求的各个指标

最后当我们删除所有的请求参数时,发现该接口不需要传递特殊的参数,直接 POST 请求即可返回数据,所以该地址已经被解析出来。

第一个得到的接口是【笔记】频道的接口。

下面用同样的手法,切换到【视频】频道,得到如下接口:

这里就比较有趣了,得到了一些视频地址:https://vplay.douguo.com/lg_eSawHKSsY5gTAkerCKg2KgWdM但是由于版权的关系,这些就不能去采集了,代码也不能公开啦

然后我又跑到了【商城】频道,看了一下(就看了一下),接口可用,担心风险,就不在放出接口啦,有需要的自行研究。

豆果美食 APP,不错滴。

收尾时间

今天是持续写作的第 263 / 200 天。
可以关注我,点赞我、评论我、收藏我啦。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。