tf_text

文字预处理

在文字的建模实践中，一般需要把原始文字拆解成单字、单词或者词组，然后将这些拆分的要素进行索引，标记化供机器学习算法使用。这种预处理叫做标注（Tokenize）。虽然这些功能都可以用python实现，但是Keras提供了现成的方法。

对于keras全部封装在text中

分词器

Tokenizer

keras.preprocessing.text.Tokenizer(num_words=None, filters='!"#$%&()*+,-.
  

 

  
1
 

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/103184242