AI-数据采集-requests模块的基本使用(二)

举报
咔吧咔吧 发表于 2020/10/22 11:55:25 2020/10/22
【摘要】 对于requests模块我准备分为四部分给大家简单的介绍一下一.requests模块的基本使用 requests模块的作用是发送网络请求,返回响应数据、 给大家提供requests的中文文档供大家参考: https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html 这里我来给大家举点例子方便大家更...

    对于requests模块我准备分为四部分给大家简单的介绍一下

一.requests模块的基本使用

    requests模块的作用是发送网络请求,返回响应数据、

    给大家提供requests的中文文档供大家参考: https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html

    这里我来给大家举点例子方便大家更好的理解requests的一些用法以及作用。

    1.需求:requests发送简单的get请求向百度首页发送请求,获取百度首页数据。

    image.png  

    大家可以看到这样输出结果有很多乱码  ,这是因为编码使用的字符集不同造成的,requests.text是按照chardet模块推测出的编码字符集进行解码的,而网络传输的字符串都是bytes类型,所以需要修改代码为:

    image.png

    这里给大家介绍一下response.txt和response.content的区别

    ● response.text

        ○ 类型:str

        ○ 解码类型:requests模块自动根据HTTP头部对响应的编码做出有根据的推测,推测的文本编码

        ○ 如何修改编码方式:response.encoding="gbk"

    ● response.content

        ○ 类型:bytes

        ○ 解码类型:没有指定

        ○ 如何修改编码方式:response.content.decode("utf-8")

    response响应对象的其他的属性和方法也有很多,给大家举几个常用的例子。

    ● response.url 响应的url;有时候响应的url和请求的url并不一致

    ● response.status_code 响应状态码

    ● response.request.headers 响应对应的请求头

    ● response.headers 响应头

    ● response.request._cookies 响应对应请求的cookie;返回cookieJar类型

    ● response.json() 自动将json字符串类型的响应内容转换成python对象(dict or list)

    image.png


    另外还可以发送带参数的请求,请求参数的形式是字典,用法为:requests.get(url,params=参数)

    下面给大家展示两种带参数的请求方式:

    image.png

    image.png


    源码我会上传至附件,大家可以看看。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200