Python编程:使用textrank4zh、jieba、snownlp提取中文文章关键字和摘要

举报
彭世瑜 发表于 2021/08/14 00:02:21 2021/08/14
【摘要】 使用的库 1、textrank4zh https://github.com/letiantian/TextRank4ZH pip install textrank4zh==0.3 1 2、jieba https://github.com/fxsjy/jieba pip install jieba==0.39 1 3、snownlp https://githu...

使用的库

1、textrank4zh

https://github.com/letiantian/TextRank4ZH

pip install textrank4zh==0.3

  
 
  • 1

2、jieba
https://github.com/fxsjy/jieba

pip install jieba==0.39

  
 
  • 1

3、snownlp
https://github.com/isnowfy/snownlp

pip install snownlp==0.12.3

  
 
  • 1

新闻文章

实验所用的 新闻文章源地址
《又一颗星星被冠以中国科学家名字》
https://tech.sina.com.cn/d/s/2019-04-22/doc-ihvhiewr7526716.shtml

text = """
来源:中国科学报 本报讯(记者肖洁)又有一位中国科学家喜获小行星命名殊荣!
4月19日下午,中国科学院国家天文台在京举行“周又元星”颁授仪式,
我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。
国家天文台党委书记、副台长赵刚在致辞一开始更是送上白居易的诗句:“令公桃李满天下,何须堂前更种花。” 据介绍,这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站,
获得国际永久编号第120730号。2018年9月25日,经国家天文台申报,
国际天文学联合会小天体联合会小天体命名委员会批准,国际天文学联合会《小行星通报》通知国际社会,
正式将该小行星命名为“周又元星”。 赵刚介绍说,选择这个编号的小行星,正是为了契合周又元先生的生日:7月30日。 这颗小行星的发现者团队代表、中科院院士陈建生与中国科学院大学副校长、中科院院士吴岳良一起,
分别向周又元颁授了小行星命名公报、命名证书和轨道运行图。 浩瀚宇宙中,又多了一颗以中国科学家名字命名的星星。 小行星是目前各类天体中唯一可以由发现者命名并得到国际公认的天体,体现着发现者的意愿、推崇或纪念。
由于小行星命名的严肃性、唯一性和永久不可更改性,使得能够获得小行星命名,成为世界公认的一项殊荣和褒奖。 周又元现为中国科学院大学荣誉讲席教授,曾任中科院国家天文台研究员、中国科学技术大学和北京大学教授,
在类星体和活动星系核及宇宙学和宇宙大尺度结构等研究领域做出了突出贡献。 “周院士是我国天文学家的杰出代表,不仅科研成果丰硕,还一直奋战于教育教学的第一线,教龄长达50余年,
可谓是桃李满天下,现在仍是我校荣誉讲席教授。”中国科学院大学副校长吴岳良表示,“我们希望全校教师向周院士学习,
教书育人、率先垂范,为建设国际一流大学而努力奋斗。” 在颁授仪式上,身形颀长清瘦、已经八十高龄的周又元先生微笑着走上台,作了极为简短的发言,
他在发言中没有谈自己,只是对工作过的学校和集体表示了感谢,感谢它们提供给自己“舒畅、自由、充满信任”的工作环境。 颁授仪式结束后,周又元昔日的弟子以及现场众多国科大研究生排着队,争相与他合影留念,
让这位科学家感受了一次“明星”的待遇。 《中国科学报》记者希望周先生以自己的经历给后辈赠言,周先生思索片刻浅笑着仅仅说了短短几句:“我已经80岁了,
仍然一直提醒自己要做好人,做好事。从小,我母亲就这样教育我。” 国家天文台的工作人员告诉记者,对于“惜字如金”这件事,周先生解释过,自己教学的年头太久了,
感觉话都对学生们说完了,因此晚年都不爱说话了。 中科院院士、中科院云南天文台研究员韩占文此次专程乘飞机赶到北京见证恩师的荣耀时刻。
曾经做过周又元博士后的他告诉《中国科学报》:“周先生对学生特别好。我到学校的第一天,他就去学生宿舍看我,令我感动。
我和他的研究方向本来不一样,在他的指导下,我的研究视野变得开阔,突然进入了另外一个领域。
在周老师身边这几年,是我学术生涯中最重要的时期。” 中科院高能物理研究所研究员王建民1992年到1995年曾跟随周又元念博士。
“1995年6月16日,是我博士论文答辩的日子。答辩现场,陆埮先生向我提问,周先生就主动替我解答那些我回答不了的问题。
当时两位先生对于理论的探讨如切如磋如琢如磨,至今想来是我一辈子的荣幸。”王建民感叹道。他细数周又元培育过的众多弟子,
并将郑板桥的一句诗献给老师:“新竹高于旧竹枝,全凭老干为扶持。”
"""


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53

1、使用 textrank4zh


from textrank4zh import TextRank4Keyword, TextRank4Sentence
import jieba
import logging

# 取消jieba 的日志输出
jieba.setLogLevel(logging.INFO)


def get_key_words(text, num=5): """提取关键词""" tr4w = TextRank4Keyword() tr4w.analyze(text, lower=True) key_words = tr4w.get_keywords(num) return [item.word for item in key_words] # 命名 小行星 周先生 天文台 国际


def get_summary(text, num=3): """提取摘要""" tr4s = TextRank4Sentence() tr4s.analyze(text=text, lower=True, source='all_filters') return [item.sentence for item in tr4s.get_key_sentences(num)]

# 周又元现为中国科学院大学荣誉讲席教授,曾任中科院国家天文台研究员、中国科学技术大学和北京大学教授,在类星体和活动星系核及宇宙学和宇宙大尺度结构等研究领域做出了突出贡献
# 这颗小行星的发现者团队代表、中科院院士陈建生与中国科学院大学副校长、中科院院士吴岳良一起,分别向周又元颁授了小行星命名公报、命名证书和轨道运行图
# 4月19日下午,中国科学院国家天文台在京举行“周又元星”颁授仪式,我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

2、使用jieba


import jieba.analyse

# 基于 TF-IDF 算法的关键词抽取
tags = jieba.analyse.extract_tags(text, topK=5)
print(",".join(tags))
# 小行星,命名,天文台,中科院,周先生


# 基于 TextRank 算法的关键词抽取
tags = jieba.analyse.textrank(text, topK=5)
print(",".join(tags))
# 小行星,命名,中国,是,院士


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

2、使用snownlp

from snownlp import SnowNLP

s = SnowNLP(text)

print(s.keywords(3))
# ['周', '中国', '行星']

# TextRank算法
print(s.summary(3))
# ['中国科学院国家天文台在京举行“周又元星”颁授仪式',
# '小行星是目前各类天体中唯一可以由发现者命名并得到国际公认的天体',
# '我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂']


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

文章来源: pengshiyu.blog.csdn.net,作者:彭世瑜,版权归原作者所有,如需转载,请联系作者。

原文链接:pengshiyu.blog.csdn.net/article/details/89469583

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。