python爬虫二：网易博客的图片

下面讲解我的爬虫程序：

在D:\wa中新建一个记事本文件1.txt，把所有的网易博客的链接（注意，是一篇博客的链接，不是目录页面的链接）都放进去，每个占一行，然后运行程序把每篇博客的图片全部下载下来，每篇博客都在D:\wa目录下新建一个目录，目录名为该篇博客的网页title。

代码：

  

   

    

     

    
    

     

      #coding=utf-8
     
    
   

    

     

    
    

     

      import re
     
    
   

    

     

    
    

     

      import urllib.request
     
    
   

    

     

    
    

     

      import os
     
    
   

    

     

    
    

     

      
     
    
   

    

     

    
    

     

      def get(url): #下载一个页面所有需要的图片
     
    
   

    

     

    
    

     

       if(len(url)<9): #忽略txt中的空行
     
    
   

    

     

    
    

     

       return 
     
    
   

    

     

    
    

     

       all_title=[]
     
    
   

    

     

    
    

     
    try:
     
    
   

    

     

    
    

     

              html = urllib.request.urlopen(url).read().decode('gbk')
     
    
   

    

     

    
    

     

          except:
     
    
   

    

     

    
    

     
        print('error')
     
    
   

    

     

    
    

     
        print(url)
     
    
   

    

     

    
    

     
        return
     
    
   

    

     

    
    

     

          title = re.search("<title>.*</title>", html).group()    
     
    
   

    

     

    
    

     

          title = title[7:-25] #########根据博客标题数出来的
     
    
   

    

     

    
    

     
    while(title in all_title):  #处理相同标题的网页
     
    
   

    

     

    
    

     

              title = title+'a'
     
    
   

    

     

    
    

     

          all_title.append(title)    
     
    
   

    

     

    
    

     

          #pic_url = re.findall('http://img[0-9]*.ph.126.net/[0-9a-zA-Z-_=]*==/[0-9]*\.jpg',str(html))
     
    
   

    

     

    
    

     

          pic_url = re.findall('http://.{1,100}jpg',str(html))
     
    
   

    

     

    
    

     

          pic_url = list(set(pic_url))#去重
     
    
   

    

     

    
    

     

          path = thepath + '\\' + title
     
    
   

    

     

    
    

     
    try:
     
    
   

    

     

    
    

     

              os.mkdir(path)
     
    
   

    

     

    
    

     

          except:
     
    
   

    

     

    
    

     
        return
     
    
   

    

     

    
    

     

          i = 1
     
    
   

    

     

    
    

     
    for each in pic_url:
     
    
   

    

     

    
    

     
        try:
     
    
   

    

     

    
    

     

                  pic= urllib.request.urlopen(each,timeout=10).read()
     
    
   

    

     

    
    

     

              except:   
     
    
   

    

     

    
    

     
            continue
     
    
   

    

     

    
    

     

              file = path + '\\' + title + str(i) + '.jpg'
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

              fp = open(file,'w')
     
    
   

    

     

    
    

     

              fp.write(pic)
     
    
   

    

     

    
    

     

              fp.close()
     
    
   

    

     

    
    

     

              i=i+1
     
    
   

    

     

    
    

     
    if not os.listdir(path):
     
    
   

    

     

    
    

     

              os.removedirs(path)
     
    
   

    

     

    
    

     
        print('error')
     
    
   

    

     

    
    

     
        print(url)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      thepath = 'D:\\wa'
     
    
   

    

     

    
    

     

      fp = open(thepath + '\\' + '1.txt','r').readlines()
     
    
   

    

     

    
    

     

      for line in fp:
     
    
   

    

     

    
    

     
    if line == '\n':
     
    
   

    

     

    
    

     
        print('none')
     
    
   

    

     

    
    

     
        break
     
    
   

    

     

    
    

     
    get(line.strip('\n'))
     
    
  
 

调用get函数时只需要读取1.txt即可

文章来源: blog.csdn.net，作者：csuzhucong，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/nameofcsdn/article/details/77351503