爬虫在遇到post请求时的一种解决{“code“:40005,“msg“:“req json error“}问题的思路

举报
肥学 发表于 2022/05/04 23:43:14 2022/05/04
【摘要】 我的情况 我在爬取某网站的时候发现网站做了防爬措施,在请求api的时候返回{"code":40005,"msg":"req json error"}遇到这种问题就要多分析你所爬取的网站是如何请求数据的,...

我的情况

我在爬取某网站的时候发现网站做了防爬措施,在请求api的时候返回{"code":40005,"msg":"req json error"}遇到这种问题就要多分析你所爬取的网站是如何请求数据的,然后相应的修改你的请求头信息。

附上我的问题解决

在这里插入图片描述
然后发现在payload(负载)里面
在这里插入图片描述
这些请求负载也要转为json格式封装到请求头里面就可顺利请求api数据了。

总结

遇到请求数据返回失败的情况要多分析网站是如何请求的。查看自己是否请求头里面缺少必要的数据。

文章来源: blog.csdn.net,作者:肥学,版权归原作者所有,如需转载,请联系作者。

原文链接:blog.csdn.net/jiahuiandxuehui/article/details/124547294

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。