云社区 博客 博客详情
云社区 博客 博客详情

AI-数据采集-requests模块的基本使用(二)

咔吧咔吧 发表于 2020-10-22 11:55:25 10-22 11:55
咔吧咔吧 发表于 2020-10-22 11:55:25 2020/10/22
0
0

【摘要】 对于requests模块我准备分为四部分给大家简单的介绍一下一.requests模块的基本使用 requests模块的作用是发送网络请求,返回响应数据、 给大家提供requests的中文文档供大家参考: https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html 这里我来给大家举点例子方便大家更...

    对于requests模块我准备分为四部分给大家简单的介绍一下

一.requests模块的基本使用

    requests模块的作用是发送网络请求,返回响应数据、

    给大家提供requests的中文文档供大家参考: https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html

    这里我来给大家举点例子方便大家更好的理解requests的一些用法以及作用。

    1.需求:requests发送简单的get请求向百度首页发送请求,获取百度首页数据。

    image.png  

    大家可以看到这样输出结果有很多乱码  ,这是因为编码使用的字符集不同造成的,requests.text是按照chardet模块推测出的编码字符集进行解码的,而网络传输的字符串都是bytes类型,所以需要修改代码为:

    image.png

    这里给大家介绍一下response.txt和response.content的区别

    ● response.text

        ○ 类型:str

        ○ 解码类型:requests模块自动根据HTTP头部对响应的编码做出有根据的推测,推测的文本编码

        ○ 如何修改编码方式:response.encoding="gbk"

    ● response.content

        ○ 类型:bytes

        ○ 解码类型:没有指定

        ○ 如何修改编码方式:response.content.decode("utf-8")

    response响应对象的其他的属性和方法也有很多,给大家举几个常用的例子。

    ● response.url 响应的url;有时候响应的url和请求的url并不一致

    ● response.status_code 响应状态码

    ● response.request.headers 响应对应的请求头

    ● response.headers 响应头

    ● response.request._cookies 响应对应请求的cookie;返回cookieJar类型

    ● response.json() 自动将json字符串类型的响应内容转换成python对象(dict or list)

    image.png


    另外还可以发送带参数的请求,请求参数的形式是字典,用法为:requests.get(url,params=参数)

    下面给大家展示两种带参数的请求方式:

    image.png

    image.png


    源码我会上传至附件,大家可以看看。

requests.zip 5.55KB ,下载次数:1

登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您没有权限执行当前操作

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消