python编程-24：实例1-中国大学排名爬虫_彭世瑜_新浪博客

举报
彭世瑜 发表于 2021/08/14 23:14:20 2021/08/14
【摘要】 源码： 输出优化前 #CrawUnivRankingA.py import requests from bs4 import BeautifulSoup import bs4 &nb...
python编程-24：实例1-中国大学排名爬虫

python编程-24：实例1-中国大学排名爬虫

python编程-24：实例1-中国大学排名爬虫

python编程-24：实例1-中国大学排名爬虫
python编程-24：实例1-中国大学排名爬虫


源码：
输出优化前

  1. #CrawUnivRankingA.py
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import bs4
  5.  
  6. def getHTMLText(url):
  7.     try:
  8.         r = requests.get(url, timeout=30)
  9.         r.raise_for_status()
  10.         r.encoding = r.apparent_encoding
  11.         return r.text
  12.     except:
  13.         return ""
  14.  
  15. def fillUnivList(ulist, html):
  16.     soup = BeautifulSoup(html, "html.parser")
  17.     for tr in soup.find('tbody').children:
  18.         if isinstance(tr, bs4.element.Tag):
  19.             tds = tr('td')
  20.             ulist.append([tds[0].string, tds[1].string, tds[3].string])
  21.  
  22. def printUnivList(ulist, num):
  23.     print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
  24.     for i in range(num):
  25.         u=ulist[i]
  26.         print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
  27.      
  28. def main():
  29.     uinfo = []
  30.     url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
  31.     html = getHTMLText(url)
  32.     fillUnivList(uinfo, html)
  33.     printUnivList(uinfo, 20) # 20 univs
  34. main()

输出优化后：

  1. #CrawUnivRankingB.py
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import bs4
  5.  
  6. def getHTMLText(url):
  7.     try:
  8.         r = requests.get(url, timeout=30)
  9.         r.raise_for_status()
  10.         r.encoding = r.apparent_encoding
  11.         return r.text
  12.     except:
  13.         return ""
  14.  
  15. def fillUnivList(ulist, html):
  16.     soup = BeautifulSoup(html, "html.parser")
  17.     for tr in soup.find('tbody').children:
  18.         if isinstance(tr, bs4.element.Tag):
  19.             tds = tr('td')
  20.             ulist.append([tds[0].string, tds[1].string, tds[3].string])
  21.  
  22. def printUnivList(ulist, num):
  23.     tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
  24.     print(tplt.format("排名","学校名称","总分",chr(12288)))
  25.     for i in range(num):
  26.         u=ulist[i]
  27.         print(tplt.format(u[0],u[1],u[2],chr(12288)))
  28.      
  29. def main():
  30.     uinfo = []
  31.     url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
  32.     html = getHTMLText(url)
  33.     fillUnivList(uinfo, html)
  34.     printUnivList(uinfo, 20) # 20 univs
  35. main()


文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。

原文链接：pengshiyu.blog.csdn.net/article/details/109661696

【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
Python
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入