Crawler：基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息

Crawler：基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息

目录

输出结果

实现代码

输出结果

实现代码

  

   

    

     

    
    

     

      # -*- coding: utf-8 -*-
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      #Py之Crawler：实实在在的40行代码爬取猫眼榜单TOP100榜电影名称主要信息——Jason niu
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      import requests
     
    
   

    

     

    
    

     

      import re
     
    
   

    

     

    
    

     

      import json
     
    
   

    

     

    
    

     

      from requests.exceptions import RequestException
     
    
   

    

     

    
    

     

      from multiprocessing.dummy import Pool
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      headers = {'User-Agent':'Mozilla/5.0 '}
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def get_one_page(url):
     
    
   

    

     

    
    

     
 try:
     
    
   

    

     

    
    

     

       res = requests.get(url,headers = headers)
     
    
   

    

     

    
    

     
 if res.status_code == 200:
     
    
   

    

     

    
    

     
 return res.text
     
    
   

    

     

    
    

     
 return None
     
    
   

    

     

    
    

     
 except RequestException:
     
    
   

    

     

    
    

     
 return None
     
    
   

    

     

    
    

     

      def parse_one_page(html):
     
    
   

    

     

    
    

     

       pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
     
    
   

    

     

    
    

     

       +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
     
    
   

    

     

    
    

     

       +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
     
    
   

    

     

    
    

     

       items = re.findall(pattern,html)
     
    
   

    

     

    
    

     
 for item in items:
     
    
   

    

     

    
    

     
 yield{
     
    
   

    

     

    
    

     
 'index': item[0],
     
    
   

    

     

    
    

     
 'image': item[1],
     
    
   

    

     

    
    

     
 'title': item[2],
     
    
   

    

     

    
    

     
 'actor': item[3].strip()[3:],
     
    
   

    

     

    
    

     
 'time': item[4].strip()[5:],
     
    
   

    

     

    
    

     
 'score': item[5] + item[6]
     
    
   

    

     

    
    

     

       }
     
    
   

    

     

    
    

     

      def write_to_file(content):
     
    
   

    

     

    
    

     
 with open ('result.txt', 'a',encoding='utf-8') as f:
     
    
   

    

     

    
    

     

       f.write(json.dumps(content,ensure_ascii=False) + '\n')
     
    
   

    

     

    
    

     

       f.close()
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def main(offset):
     
    
   

    

     

    
    

     

       url = 'http://maoyan.com/board/4?offset=' + str(offset)
     
    
   

    

     

    
    

     

       html = get_one_page(url)
     
    
   

    

     

    
    

     
 for item in parse_one_page(html):
     
    
   

    

     

    
    

     

       print(item)
     
    
   

    

     

    
    

     

       write_to_file(item)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      if __name__ == '__main__':
     
    
   

    

     

    
    

     

       p = Pool()
     
    
   

    

     

    
    

     

       p.map(main,[i*10 for i in range(10)])
     
    
  
 

文章来源: yunyaniu.blog.csdn.net，作者：一个处女座的程序猿，版权归原作者所有，如需转载，请联系作者。

原文链接：yunyaniu.blog.csdn.net/article/details/80160682