NLP：基于snownlp库对文本实现提取文本关键词和文本摘要

NLP：基于snownlp库对文本实现提取文本关键词和文本摘要

目录

输出结果

1、测试文本

设计思路

核心代码

输出结果

1、测试文本

  

   

    

     

    
    

     

      今天一大早，两位男子在故宫抽烟对镜头炫耀的视频在网络上传播，引发网友愤怒。有人感到后怕，600年的故宫真要这两个人给点了，万死莫赎。也有评论称，把无知当成炫耀的资本，丢人！
     
    
   

    

     

    
    

     

      视频中两位男子坐在故宫公共休息区的遮阳伞下，面对镜头问出：“谁敢在故宫抽烟？”语气极其嚣张，表情带有挑衅意味。话音刚落，另外一位男子面向镜头吸了一口烟。而视频中两人也表示知道有故宫禁止吸烟的规定。
     
    
   

    

     

    
    

     

      事实上，2013年5月18日是国际博物馆日，故宫从这一天开始至今一直实行全面禁烟。根据规定，故宫博物院全体员工在院合作单位和个人不管在室内和室外，也不分开放区与工作区，一律禁止吸烟，对违反禁止吸烟规定的人员将进行严格处罚并通报全院。
     
    
   

    

     

    
    

     

      此外，在2015年6月1日起北京全市也开始了《控制吸烟条例》，规定公共场所工作场所室内环境室外排队等场合禁止吸烟，违者将最高被罚200元，全市统一设立举报电话12320。
     
    
   

    

     

    
    

     

      视频在网络上传播开来，不少网友担心故宫的安危，称一旦发生火情，后果不堪设想，有网友表示，这样的行为应该被旅游景区拉近黑名单，建议终身禁止进入任何景区和各种场馆。
     
    
  
 

设计思路

后期更新……

核心代码

  

   

    

     

    
    

     

      class SnowNLP Found at: snownlp.__init__
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      class SnowNLP(object):
     
    
   

    

     

    
    

     
 def __init__(self, doc):
     
    
   

    

     

    
    

     

       self.doc = doc
     
    
   

    

     

    
    

     

       self.bm25 = bm25.BM25(doc)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def words(self):
     
    
   

    

     

    
    

     
 return seg.seg(self.doc)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def sentences(self):
     
    
   

    

     

    
    

     
 return normal.get_sentences(self.
     
    
   

    

     

    
    

     

       doc)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def han(self):
     
    
   

    

     

    
    

     
 return normal.zh2hans(self.doc)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def pinyin(self):
     
    
   

    

     

    
    

     
 return normal.get_pinyin(self.doc)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def sentiments(self):
     
    
   

    

     

    
    

     
 return sentiment.classify(self.doc)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def tags(self):
     
    
   

    

     

    
    

     

       words = self.words
     
    
   

    

     

    
    

     

       tags = tag.tag(words)
     
    
   

    

     

    
    

     
 return zip(words, tags)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def tf(self):
     
    
   

    

     

    
    

     
 return self.bm25.f
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       @property
     
    
   

    

     

    
    

     
 def idf(self):
     
    
   

    

     

    
    

     
 return self.bm25.idf
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 def sim(self, doc):
     
    
   

    

     

    
    

     
 return self.bm25.simall(doc)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 def summary(self, limit=5):
     
    
   

    

     

    
    

     

       doc = []
     
    
   

    

     

    
    

     

       sents = self.sentences
     
    
   

    

     

    
    

     
 for sent in sents:
     
    
   

    

     

    
    

     

       words = seg.seg(sent)
     
    
   

    

     

    
    

     

       words = normal.filter_stop(words)
     
    
   

    

     

    
    

     

       doc.append(words)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       rank = textrank.TextRank(doc)
     
    
   

    

     

    
    

     

       rank.solve()
     
    
   

    

     

    
    

     

       ret = []
     
    
   

    

     

    
    

     
 for index in rank.top_index(limit):
     
    
   

    

     

    
    

     

       ret.append(sents[index])
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 return ret
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 def keywords(self, limit=5, 
     
    
   

    

     

    
    

     

       merge=False):
     
    
   

    

     

    
    

     

       doc = []
     
    
   

    

     

    
    

     

       sents = self.sentences
     
    
   

    

     

    
    

     
 for sent in sents:
     
    
   

    

     

    
    

     

       words = seg.seg(sent)
     
    
   

    

     

    
    

     

       words = normal.filter_stop(words)
     
    
   

    

     

    
    

     

       doc.append(words)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

       rank = textrank.KeywordTextRank
     
    
   

    

     

    
    

     

       (doc)
     
    
   

    

     

    
    

     

       rank.solve()
     
    
   

    

     

    
    

     

       ret = []
     
    
   

    

     

    
    

     
 for w in rank.top_index(limit):
     
    
   

    

     

    
    

     

       ret.append(w)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 if merge:
     
    
   

    

     

    
    

     

       wm = words_merge.SimpleMerge
     
    
   

    

     

    
    

     

       (self.doc, ret)
     
    
   

    

     

    
    

     
 return wm.merge()
     
    
   

    

     

    
    

     
 return ret
     
    
  
 

文章来源: yunyaniu.blog.csdn.net，作者：一个处女座的程序猿，版权归原作者所有，如需转载，请联系作者。

原文链接：yunyaniu.blog.csdn.net/article/details/95936506