Python爬虫入门教程 24-100 微医挂号网医生数据抓取
【摘要】 1. 微医挂号网医生数据写在前面
今天要抓取的一个网站叫做微医网站,地址为 https://www.guahao.com ,我们将通过python3爬虫抓取这个网址,然后数据存储到CSV里面,为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer 和 pyquery
首先找到 医生列表页
https://www.guahao.com/expert...
1. 微医挂号网医生数据写在前面
今天要抓取的一个网站叫做微医
网站,地址为 https://www.guahao.com
,我们将通过python3爬虫抓取这个网址,然后数据存储到CSV里面,为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer
和 pyquery
首先找到 医生列表页
https://www.guahao.com/expert/all/全国/all/不限/p5
- 1
这个页面显示有 75952 条数据 ,实际测试中,翻页到第38页,数据就加载不出来了,目测后台程序猿没有把数据返回,不过为了学习,我们忍了。
2. 微医挂号网医生数据页面URL
https://www.guahao.com/expert/all/全国/all/不限/p1
https://www.guahao.com/expert/all/全国/all/不限/p2
...
https://www.guahao.com/expert/all/全国/all/不限/p38
- 1
- 2
- 3
- 4
数据总过38页,量不是很大,咱只需要随便选择一个库抓取就行ÿ
文章来源: dream.blog.csdn.net,作者:梦想橡皮擦,版权归原作者所有,如需转载,请联系作者。
原文链接:dream.blog.csdn.net/article/details/84072554
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)