四十五、爬取QQ音乐Lemon 日语歌的评论
【摘要】 @Author:Runsen
我们继续学习Python爬虫。本次爬取的对象是QQ音乐Lemon 日语歌的评论
首先查看一下,我们要爬取的网页,是否反爬(各种侵害人家服务器的事情,我们不能干)
QQ音乐网址:https://y.qq.com
要查看该网页的反爬要求,可以直接在网页后加/robots.txt
QQ音乐反爬要求就是:https://y.qq.com/...
@Author:Runsen
我们继续学习Python爬虫。本次爬取的对象是QQ音乐Lemon 日语歌的评论
首先查看一下,我们要爬取的网页,是否反爬(各种侵害人家服务器的事情,我们不能干)
QQ音乐网址:https://y.qq.com
要查看该网页的反爬要求,可以直接在网页后加/robots.txt
QQ音乐反爬要求就是:https://y.qq.com/robots.txt
看了一下官网不给爬的内容,没有说不可以爬评论,那我们就爬了~
根据我们之前的操作,我们会先右击看一下网页源代码。
如果我们要的内容,就在源代码里面,那万事大吉,直接按照我们之前爬豆瓣的那一套来
但是我们爬QQ音乐的时候,很悲伤的发现,网页源代码里面,没有数据了!
其实这和百度图片一样,就是一个ajax请求加载的。现在就是要找出对应的json。
XHR 全称 XMLHttpRequest,它是浏览器内置的对象,使得 JavaScript 可以发送 HTTP 请求。
我们先右击打开“审查元素”,勾选Network—>勾选XHR—>查找我们要的内容
文章来源: maoli.blog.csdn.net,作者:刘润森!,版权归原作者所有,如需转载,请联系作者。
原文链接:maoli.blog.csdn.net/article/details/107794306
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)