爬虫在遇到post请求时的一种解决{“code“:40005,“msg“:“req json error“}问题的思路
【摘要】
我的情况
我在爬取某网站的时候发现网站做了防爬措施,在请求api的时候返回{"code":40005,"msg":"req json error"}遇到这种问题就要多分析你所爬取的网站是如何请求数据的,...
我的情况
我在爬取某网站的时候发现网站做了防爬措施,在请求api的时候返回{"code":40005,"msg":"req json error"}
遇到这种问题就要多分析你所爬取的网站是如何请求数据的,然后相应的修改你的请求头信息。
附上我的问题解决
然后发现在payload(负载)里面
这些请求负载也要转为json格式封装到请求头里面就可顺利请求api数据了。
总结
遇到请求数据返回失败的情况要多分析网站是如何请求的。查看自己是否请求头里面缺少必要的数据。
文章来源: blog.csdn.net,作者:肥学,版权归原作者所有,如需转载,请联系作者。
原文链接:blog.csdn.net/jiahuiandxuehui/article/details/124547294
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)