写Python爬虫,服务器返回数据加密了,套路解决法~,出版社,出版社 Y13
📢📢📢📢📢📢
💗 你正在阅读 【梦想橡皮擦】 的博客
👍 阅读完毕,可以点点小手赞一下
🌻 发现错误,直接评论区中指正吧
📆 橡皮擦的第 623 篇原创博客
⛳️ 实战场景
本次要采集的是一个出版社相关的站点,目标站点相关信息如下所示:
- 站点域名:
aHR0cHM6Ly9wZGMuY2FwdWIuY24v
(Base64 编码) - 站点中文名称:图书出版社,出版社查询,出版机构数据库,出版物数据中心
点击其检索页面,随机选择一个分类,进行请求逻辑分析。
开发者工具得到的数据如下所示:
- 请求网址: https://爬虫地址/api/publisher/publisherVagueStatList
- 请求方法: POST
在请求头中,有一个特殊的参数,即 userSessionId
,该参数是用户登录之后的一个关键参数,通过 POSTMAN 进行测试发现无需该参数也可以调用到服务器数据。
其中请求表单参数说明如下:
pageNum
: 页码pageSize
: 每页数据keyword
: 搜索关键词city1
: 城市type
: 类型group
: 所属集团t
: pdc,ele,未知参数,保持默认值即可。
请求中没有加密参数,但是通过上图大家会发现响应中包含了一个加密参数,根据经验可以初步判断是 BASE64 加密形式,后期可以尝试从其入手。
⛳️ 解析参数
接下来添加 api/publisher/publisherVagueStatList
断点,刷新页面进入该断点。
跟随断点进入下述代码段,其中比较重要的函数是 i(e,u,o)
部分,而这个代码段又似曾相识,在前几篇博客 都是限制,都是秘密,JS 逆向某建筑市场数据 ,应该是看到过类似的结构。
var n = "getAllResponseHeaders" in f ? s(f.getAllResponseHeaders()) : null,
r = t.responseType && "text" !== t.responseType ? f.response : f.responseText,
o = {
data: r,
status: f.status,
statusText: f.statusText,
headers: n,
config: t,
request: f,
};
i(e, u, o), (f = null);
但是翻阅 i
函数内部之后,并未发现加密逻辑,难道经验出错了?
继续点击下述按钮,进入函数内部,查看函数体内的调用。
通过代码的反复调试,获取下图所示代码区域截图。
此时发现 function(t)
中的参数 t
已经被序列化,那前面的 e.responseHandle(t,!0)
就是我们唯一的突破点了,下图是被结构化的数据。
进入到 resoonseHandle
函数内部之后,发现了 e.result
逻辑,其中 result
属于关键参数。
选中前面的代码块之后,查看调用的 JS 文件,其中 chunk-common
显得至关重要。
当点击 JS 文件之后,直接就发现了下图所示代码。
加密参数都暴露在了我们面前。
o = function(t) {
var e = arguments.length > 1 && void 0 !== arguments[1] ? arguments[1] : "z66qa18l0w9o521k"
, i = arguments.length > 2 && void 0 !== arguments[2] ? arguments[2] : "16-Bytes--String"
, a = s["enc"].Utf8.parse(e)
, n = s["enc"].Utf8.parse(i)
, o = s["AES"].decrypt(t, a, {
iv: n,
mode: s["mode"].CBC,
padding: s["pad"].Pkcs7
});
return o.toString(s["enc"].Utf8)
总结一下得到的结论,本案例采用的是 AEC-CBC 加密,iv
是 16-Bytes–String,密钥是 z66qa18l0w9o521k,其中 padding
是 Pkcs7
。
基于这些内容,我们已经可以将其逻辑 Python 话了,这一步你可以参考我们之前的博客,有很多落地方案。
📣📣📣📣📣📣
🌻 本文如果发现错误,欢迎在评论区中指正哦 💗
- 点赞
- 收藏
- 关注作者
评论(0)