二十七、 爬取Boss直聘的招聘信息

对于之前学的知识，作一个整合，爬取有点难度的boss招聘。不知不觉，七月份已经过去了，传说中的暑假实习招聘也应该随之结束了，我还是那个屌丝，发了几份，结果屁都没有，可能我是一个屌丝。

目标：爬取boss招聘网的全国技术实习岗位，（毕竟我没有工作过）并写入mongodb数据库

这里我选取了BOSS直聘上的Python职位进行分析，首先进行BOSS直聘链接，爬取职位信息，之后再对数据进行统计分析，写完爬虫部分后发现自己太啰嗦了，写了挺多了，这一篇先讲一下爬数据的过程，下一次再讲分析过程吧，那么进入正题吧。

boss招聘官网

https://www.zhipin.com/

一开始先爬去所有城市。

爬完之后天天封ip，不给我爬，以为我真的想爬你吗

爬完就不给我访问了，我说容易吗

先上爬取数据的全代码

from urllib.parse import urljoin
import requests
import pymon
  

 

  
1
  
2
 

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/90815237