from nltk.corpus import reuters #加载路透语料库
files = reuters.fileids()
print(len(files)) # 10788
words16097 = reuters.words(['test/16097'])
print(words16097)

  

 

  
1
  
2
  
3
  
4
  
5
 

什么是语料

就是一个个txt，一个txt就是一个列表

categories种类

reutersGenres = reuters.categories()
print(reutersGenres)  # 90


  

 

  
1
  
2
  
3
 

加载语料特定的种类的句子

# 加载语料特定的种类
for w in reuters.words(categories=['bop','cocoa']): print(w +' ',end='') if(w is '.'): # 一个句子就换行 print()

  

 

  
1
  
2
  
3
  
4
  
5
 

实际生活中要自己下载语料来搞

读取下载的语料

from nltk.corpus import CategorizedPlaintextCorpusReader

# 语料将分成不同的种类的txt，所以采用正则的方法来读取txt
reader = CategorizedPlaintextCorpusReader(r'/Volumes/Data/NLP-CookBook/Reviews/txt_sentoken', r'.*\.txt', cat_pattern=r'(\w+)/*')
print(reader.categories())  
  

 

  
1
  
2
  
3
  
4
 

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/99121204