python爬虫三：获取一个网易用户的所有图片（selenium+phantomjs）

在  python爬虫二：网易博客的图片  中的代码只需要一篇博客的url就可以把图片全部下载下来

如果想把一个网易博客用户的所有图片都下载下来，只需要利用搜索算法把他的所有博客url都找到即可。

对于网易博客来说，这一工作的难点在于，任何一篇博客的html代码中是不包含其他博客的url的，也就是说博客里面的互链是动态链接。为了解决这个问题，我们需要selenium和phantomjs，利用无头浏览器模拟用户点击，从而抓取url

代码：

      #coding=utf-8
      import re
      import urllib.request
      import os
      from selenium import webdriver #########需要先安装selenium
      user = 'jason0320' #########用户名
      theurl = 'http://' + user + '.blog.163.com/blog'
      thepath = 'D:\\wa' #########选择一个路径，确保其中存在url_path.txt
      url_path = thepath + '\\' + 'url_path.txt' #存储该用户所有页面链接
      phantomjs_path = "C:\phantomjs.exe" #########需要先下载phantomjs.exe
      coding = 'gbk'#########这个要去网页源代码里面查
      def get_all_url(): #获取该用户所有页面链接
          already = []
          all_url = ['http://jason0320.blog.163.com/blog/static/2703529720161017111442198']
          fp = open(url_path,'r')
          lines = fp.readlines()
         for line in lines:
              line = line.strip('\n')
             if line == '':
       continue
       already.append(line)
       all_url.append(line)
       fp.close()
       driver = webdriver.PhantomJS(executable_path=phantomjs_path,service_args=['--load-images=no']) #不加载图片，加快速度
          i=0
          fp = open(url_path,'w')
          already = list(set(already))
         for each in already:
              fp.write(each+'\n')
         while(i<len(all_url)):
              url = all_url[i]
              i=i+1
             try:
                  driver.get(url)
              except:
                 print('连接失败')
                 print(url)
                 continue
              html = driver.page_source
              url_list = re.findall('.blog.163.com/blog/static/[0-9]*',html)
             for each in url_list:
                  u = 'http://' + user + each
                 if u not in all_url:
                      all_url.append(u)     #广度优先搜索
                 if u not in already:
                      fp.write(u+'\n')
                      already.append(u)
             print(i)
          fp.close()
      if __name__=='__main__':
         get_all_url()
  
 

原理上，这个代码是可以获取所有url的，不过实际上这个程序受限于网络，网络不好的话会中断，所以实际上我只获取了jason0320的352个url

所有链接：

http://jason0320.blog.163.com/blog/static/2703529720166131113704
http://jason0320.blog.163.com/blog/static/27035297201478111818113
http://jason0320.blog.163.com/blog/static/27035297201508115710851
。。。。。。
http://jason0320.blog.163.com/blog/static/27035297201506105935484
http://jason0320.blog.163.com/blog/static/270352972015096472786

其中大部分被省略掉了，完整的后缀列表如下：

文章来源: blog.csdn.net，作者：csuzhucong，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/nameofcsdn/article/details/77074899