用Python爬取大学的信息

你知道我们中国有多少个高校吗，你知道它的排名吗，你知道它在哪个地址吗，如果你不知道，那么下面Python爬虫教你知道！

获取网页

#这个只用到了requests 和 bs4
#爬取大学排名
import requests
from bs4 import BeautifulSoup as bs
import time
def grthtml(url): demo=requests.get(url) demo.encoding=demo.apparent_encoding#编码解码，常用方法 demo=demo.text#返回一个text文本信息 return(demo)

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
 

encoding是从http中的header中的charset字段中提取的编码方式，若header中没有charset字段则默认为ISO-8859-1编码模式，则无法解析中文，这是乱码的原因
apparent_encoding会从网页的内容中分析网页编码的方式，所以apparent_encoding比encoding更加准确。当网页出现乱码时可以把apparent_encoding的编码格式赋值给encoding。

解析网页

def listhtml(ulist,html): soup=bs(html,"html.parser") soup=soup.tbody for tr in soup("tr"): tds=tr("td") ulist.append([tds[0].string,tds[1].string,tds[2].string])


  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
 

打印信息

def pmhtml(ulist,num): print("2020年中国大学排名") print('{0:^10}\t{1:{3}^7}\t{2:^10}'.format("排名","校名","地址",chr(12288))) for i in ulist[0:num]: print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(i[0],i[1],i[2],chr(12288)))

  

 

  
1
  
2
  
3
  
4
  
5
 

主函数

if __name__=="__main__": time.sleep(3) url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2020.html" html=grthtml(url) uinfo=[] listhtml(uinfo,html) num=int(input()) pmhtml(uinfo,num)

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
 

看看效果吧

代码进阶

可以思考一下，如果我把所有查找到的信息储存为一个字典，然后自己可以查找，学校，自动就出来它的一系列信息，这样才更方便！这个工作就留给大家了，你们做好了，可以来文章下面打卡留言哟！！！！

文章来源: wxw-123.blog.csdn.net，作者：王小王-123，版权归原作者所有，如需转载，请联系作者。

原文链接：wxw-123.blog.csdn.net/article/details/107946840