二十一、Python爬取百度文库word文档内容
【摘要】 @Author：Runsen
百度文库在我们需要查找复制一些文档的时候经常用到，下载要收费，开会员，一个字都不给复制，这个时候初学python的小伙伴肯定有个写个百度文库爬虫的想法，这里我给各位分享一下一个简易但实用的爬虫脚本，提供url，生成txt文件。
首先获得url（以这个为例子：https://wenku.baidu.com/view/4e29e5a7301...
@Author：Runsen
百度文库在我们需要查找复制一些文档的时候经常用到，下载要收费，开会员，一个字都不给复制，这个时候初学python的小伙伴肯定有个写个百度文库爬虫的想法，这里我给各位分享一下一个简易但实用的爬虫脚本，提供url，生成txt文件。
首先获得url（以这个为例子：https://wenku.baidu.com/view/4e29e5a730126edb6f1aff00bed5b9f3f90f72e7.html ）
首先先get一下，我们确认需要爬取的数据是不是异步加载的；如果是异步加载的直接爬取网页是爬不到的。很明显就是前后端分离，
这应该是Ajax交互，所以我们直接找接口就好了。
这个就是纯肉眼找了，我自己找了挺久的发现数据都存在0.json的文件下
一旦我们构造好了url就能获取到json格式的数据了，之后的操作就是清洗文本了。
下面是一个json的网址
https://wkbjcloudbos.bd
文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。
原文链接：maoli.blog.csdn.net/article/details/107694231
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）