影评情感分类(基于IMDB数据集)

举报
毛利 发表于 2021/07/15 08:06:41 2021/07/15
【摘要】 回顾以前的笔记 在keras中,内置了imdb电影评分数据集,来进行评价预测 安装keras conda install keras 1 conda就帮依赖全部搞定,记得加源 导入imdb from keras.datasets import imdb 1 数据集简要说明 一个长长的英文句子,有的有几千单词,有的有几十,分类成好的评价和不好的评价 ...

回顾以前的笔记

在keras中,内置了imdb电影评分数据集,来进行评价预测

安装keras

conda install keras

  
 
  • 1

conda就帮依赖全部搞定,记得加源

导入imdb

from keras.datasets import imdb

  
 
  • 1

数据集简要说明

  • 一个长长的英文句子,有的有几千单词,有的有几十,分类成好的评价和不好的评价

在数据中不是单词,而是单词的索引
一共就5万句子

import keras
from keras import layers
import matplotlib.pyplot as plt
%matplotlib inline
data = keras.datasets.imdb
max_word = 10000
# 加载前10000个单词 最大不超过10000
(x_train, y_train), (x_test, y_test) = data.load_data(num_words=max_word)

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

查看数据

x_train.shape, y_train.shape
OUT:
((25000,), (25000,))
x_train[0]
y_train[0]
OUT:
输出的是
词汇的index
输出的是 
array([1, 0, 0, ..., 0, 1, 0], dtype=int64)
1 代表 正面评价 0 代表负面怕评价

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

加载index和词汇的对应关系

#加载词汇
word_index = data.get_word_index()
#将index和value 互换
index_word = dict((value, key) for key
  
 
  • 1
  • 2
  • 3

文章来源: maoli.blog.csdn.net,作者:刘润森!,版权归原作者所有,如需转载,请联系作者。

原文链接:maoli.blog.csdn.net/article/details/102257429

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。