python爬虫一：必应图片（从网页源代码中找出图片链接然后下载）

这里讲解最简单的爬虫：从网页源代码中找出图片链接然后下载

代码：

  

   

    

     

    
    

     

      #coding=utf-8
     
    
   

    

     

    
    

     

      #必应图片爬虫
     
    
   

    

     

    
    

     

      import re
     
    
   

    

     

    
    

     

      import os
     
    
   

    

     

    
    

     

      import urllib.request
     
    
   

    

     

    
    

     

      url = 'http://cn.bing.com/images/search?q=usb+pen&FORM=HDRSC2'
     
    
   

    

     

    
    

     

      coding = 'utf-8'
     
    
   

    

     

    
    

     

      thepath = 'D:\\'
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def get():
     
    
   

    

     

    
    

     
    try:
     
    
   

    

     

    
    

     

              html = urllib.request.urlopen(url).read().decode(coding)
     
    
   

    

     

    
    

     

          except:
     
    
   

    

     

    
    

     
        print('error')
     
    
   

    

     

    
    

     
        print(url)
     
    
   

    

     

    
    

     
        return
     
    
   

    

     

    
    

     

          title = re.search("<title>.*</title>", html).group()
     
    
   

    

     

    
    

     

          title = title[7:-20]
     
    
   

    

     

    
    

     

          pic_url = re.findall('http://.{1,100}.jpg|http://.{1,100}.png|http://.{1,100}.jpeg',str(html),re.IGNORECASE)
     
    
   

    

     

    
    

     

          pic_url = list(set(pic_url))
     
    
   

    

     

    
    

     

          path = thepath + title
     
    
   

    

     

    
    

     
    try:
     
    
   

    

     

    
    

     

              os.mkdir(path)
     
    
   

    

     

    
    

     

          except:
     
    
   

    

     

    
    

     
        return
     
    
   

    

     

    
    

     

          i = 1
     
    
   

    

     

    
    

     
    for each in pic_url:
     
    
   

    

     

    
    

     
        try:
     
    
   

    

     

    
    

     

                  pic= urllib.request.urlopen(each,timeout=10).read()
     
    
   

    

     

    
    

     

              except:
     
    
   

    

     

    
    

     
            continue
     
    
   

    

     

    
    

     

              file = path + '\\' + title + str(i) + '.jpg'
     
    
   

    

     

    
    

     

              fp = open(file,'wb')
     
    
   

    

     

    
    

     

              fp.write(pic)
     
    
   

    

     

    
    

     

              fp.close()
     
    
   

    

     

    
    

     

              i=i+1
     
    
   

    

     

    
    

     
    if not os.listdir(path):
     
    
   

    

     

    
    

     

              os.removedirs(path)
     
    
   

    

     

    
    

     
        print('error')
     
    
   

    

     

    
    

     
        print(url)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      get()
     
    
  
 

解释：

（1）urlopen是打开url对应的网页，获取源代码

（2）title是网页标题，利用正则表达式从源代码中获取标题

（3）pic_url是图片url的列表，方法比较简单，直接取出以http://开头以jpg结尾的字符串，中间的长度在1-100之间，因为不同图片的url在网页源代码中是隔开的，所以这个简单的正则表达式匹配以jpg结尾的url的准确率很高，如果是jpeg等等，只要用re1|re2就行，但是对于一些奇怪的url，不以图片后缀作为图片url的后缀，那就找不到它

（4）path是要创建的文件夹路径，文件夹名字就是title

（5）再用urlopen就可以直接打开图片url下载图片，所有图片都用title1,title2...命名

（6）最后一步，如果创建了文件夹但是没有下载图片，就把文件夹删掉

文章来源: blog.csdn.net，作者：csuzhucong，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/nameofcsdn/article/details/76010849