实战一：中国大学排名

前言

由于上一篇文章中教会了大家如何存储数据，但是由于篇幅过大，就没有加入实战篇。想必大家也等着急了吧，所以今天就为大家带来两篇实战内容，希望可以帮助到各位更好的认识到爬虫与MySQL数据库结合的知识。

每年的6月都是高考的大日子，所有的学子都为自己的目标大学努力着，拼搏着，所以今天的第一篇实战就是为你们带来2020中国大学的排名情况，让各位小伙伴知道你自己的大学排名大概是多少。

需求分析与功能实现

爬取的网址如下：

https://www.shanghairanking.cn/rankings/bcur/202011

 

打开网站之后，你会看到映入眼帘的就是中国大学的排名情况，让我们看看我们需要的信息有哪些吧。

如上图所示，我们需要获取到学校的排名、学校的名称、学校所在的省份、该学校所属的类型以及大学的总分。

这些数据都保存在表格当中，因此我选用xpath提取表格数据。

具体代码如下所示：

  

   

    

     

    
    

     

      # 解析网页提取信息
     
    
   

    

     

    
    

     

          def parse_html(self, html):
     
    
   

    

     

    
    

     

              rank_ids = []
     
    
   

    

     

    
    

     

              university_names = []
     
    
   

    

     

    
    

     

              provices = []
     
    
   

    

     

    
    

     

              types = []
     
    
   

    

     

    
    

     

              all_sorces = []
     
    
   

    

     

    
    

     

              html = etree.HTML(html)
     
    
   

    

     

    
    

     

              tr
     
    
  
 

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/120503400