Python技术教程之request模块

1.1 简介

Python 内置了 requests 模块，该模块主要用来发 送 HTTP 请求，requests 模块比 urllib 模块更简洁。requests是使用Apache2 licensed 许可证的HTTP库。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。当然，requests模块国际化，友好。requests会自动实现持久连接keep-alive。

上面写了一大堆，简单总结来说，如下：

• 简洁
• 支持HTTP连接和连接池，自动实现长连接
• 支持cookie
• 支持文件上传
• 支持响应内容的编码
• 支持国际化

🎈1.2 安装

从以前学习的，可以知道这个库很容易安装，在Mac下，打开终端，如下：

# 查看已经安装的库
Aion.Liu $ pip list
Package    Version
---------- -------
meson      0.63.0
pip        22.2.2
protobuf   4.21.4
pymongo    4.2.0
PyMySQL    1.0.2
pypi       2.1
setuptools 63.2.0
xlrd       2.0.1
xlwt       1.3.0
xmltodict  0.13.0

# 安装requests库
Aion.Liu $ pip install requests
Collecting requests
  Using cached requests-2.28.1-py3-none-any.whl (62 kB)
Collecting certifi>=2017.4.17
  Downloading certifi-2022.6.15-py3-none-any.whl (160 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 160.2/160.2 kB 360.7 kB/s eta 0:00:00
Collecting idna<4,>=2.5
  Downloading idna-3.3-py3-none-any.whl (61 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 61.2/61.2 kB 160.3 kB/s eta 0:00:00
Collecting charset-normalizer<3,>=2
  Downloading charset_normalizer-2.1.0-py3-none-any.whl (39 kB)
Collecting urllib3<1.27,>=1.21.1
  Downloading urllib3-1.26.11-py2.py3-none-any.whl (139 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 139.9/139.9 kB 69.9 kB/s eta 0:00:00
Installing collected packages: urllib3, idna, charset-normalizer, certifi, requests
Successfully installed certifi-2022.6.15 charset-normalizer-2.1.0 idna-3.3 requests-2.28.1 urllib3-1.26.11

现在，我们已经安装了requests模块，下面开始更详细的了解他。

🏮2 requests模块详操

🎈2.1 resquests属性和方法

🎈2.2 response属性和方法

简单实验下，如下：

# 导入库，引入依赖
>>> import requests
>>>
>>> url = "http://www.baidu.com"
>>>
>>> response = requests.get(url)
# 获取请求
>>> print(response)
# 请求返回值的类型
>>> print(type(response)) 
# 请求返回值的响应编码
>>> print(response.status_code)
200
# 请求返回值内容类型
>>> print(type(response.text))
<class 'str'>
  
# 请求返回值的cookies
>>> print(response.cookies)
  
# 请求返回值的文本内容
>>> print(response.text)

>>> import requests
# 目标网址
>>> url = "https://www.baidu.com/s?"
>>> headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}
# 请求参数是一个字典
>>> kw = {'wd': 'python'}
# 发送请求的时候设置参数字典，获取响应
>>> response = requests.get(url, headers=headers, params=kw)
>>> print(response.text)

import requests
#url:就是平时我们使用的网址;
url="http://www.baidu.com/s"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}#发送请求获取响应
#请求参数，设置成字典;
kw={'wd':'python'}
response=requests.get(url,headers=headers,timeout=10)
for i in range(4):
    response=requests.get(url,headers=headers,timeout=20)
    if response.status_code==200:
        break
if response and response.status_code == 200:
    html_str = response.content.decode('utf-8')
    print(html_str)
else:
    print("所有访问尝试都失败了！")
    html_str = ""  # 避免变量未定义
    print(html_str)