爬虫的各位看过来

举报
Python爱好者 发表于 2021/04/23 00:55:24 2021/04/23
【摘要】 最近无意中找到了一个很牛逼的网站,可以把网站的那些请求头拿到,这大大节省了我们找header的时间,那我们了看看这个网站以及看看如何使用它吧! 网址:https://curl.trillworks.com/ 打开网址是这样的一个页面。在页面上有使用教程 Get a curl command from Chrome 1) Open the network ...

最近无意中找到了一个很牛逼的网站,可以把网站的那些请求头拿到,这大大节省了我们找header的时间,那我们了看看这个网站以及看看如何使用它吧!

网址:https://curl.trillworks.com/

640?wx_fmt=png

打开网址是这样的一个页面。在页面上有使用教程

Get a curl command from Chrome

1) Open the network tab in Chrome DevTools (Cmd + Opt + I)

2) Control-click a request and navigate to "Copy as cURL".

3) Paste it in the curl command box.

640?wx_fmt=png

我们用豆瓣电影来试试:

640?wx_fmt=png

选中圈圈里的内容,右键选择“copy”,再选择“Copy as Curl”

之后把copy的内容粘贴到方框里:

640?wx_fmt=png

生成代码:

import requests

headers = {

   'Origin': 'https://movie.douban.com',

   'Accept-Encoding': 'gzip, deflate, br',

   'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',

   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

   'Accept': '*/*',

   'Referer': 'https://movie.douban.com/',

   'Connection': 'keep-alive',

}

params = (

('include', 'anony_home'),

)

response = requests.get('https://m.douban.com/j/puppy/frodo_landing', headers=headers, params=params)

print(response.text)

#NB. Original query string below. It seems impossible to parse and

#reproduce query strings 100% accurately so the one below is given

#in case the reproduced version is not "correct".

# response = requests.get('https://m.douban.com/j/puppy/frodo_landing?include=anony_home', headers=headers)




是不是很方便?

都不用自己手动一个一个去找了!

640?wx_fmt=jpeg

文章来源: blog.csdn.net,作者:敲代码的灰太狼,版权归原作者所有,如需转载,请联系作者。

原文链接:blog.csdn.net/tongtongjing1765/article/details/100581632

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。