TensorFlow2.x 实践之对服装图像进行分类

举报
一颗小树x 发表于 2020/12/03 01:15:56 2020/12/03
【摘要】 前言 基于TensorFlow2.x的框架,使用PYthon编程语言,实现对服装图像进行分类。   思路流程: 导入 Fashion MNIST数据集探索数据预处理数据建立模型(搭建神经网络结构、编译模型)训练模型(把数据输入模型、评估准确性、作出预测、验证预测)  使用训练有素的模型   一、Fashion MNIST数据集 Fashion MNIST数据集包括...

前言

基于TensorFlow2.x的框架,使用PYthon编程语言,实现对服装图像进行分类。

 

思路流程:

  1. 导入 Fashion MNIST数据
  2. 集探索数据
  3. 预处理数据
  4. 建立模型(搭建神经网络结构、编译模型)
  5. 训练模型(把数据输入模型、评估准确性、作出预测、验证预测)  
  6. 使用训练有素的模型

 

一、Fashion MNIST数据集

Fashion MNIST数据集包括一些运动鞋和衬衫等衣物;我们从下图中先看一下:

给不同类别的 运动鞋和衬衫等衣物,进行索引分类;每个图像都映射到一个标签。

不同的类别,对应其索引,先把它们存储在此处以供以后在绘制图像时使用:


  
  1. class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
  2.                'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

 

 

二、探索数据

在训练模型之前,我们可以探索数据集的格式。比如:训练集中有60,000张图像,每个图像表示为28 x 28像素。训练集中有60,000个标签;每个标签都是0到9之间的整数。

测试集中有10,000张图像。同样,每个图像都表示为28 x 28像素。测试集包含10,000个图像标签。

探索数据代码:

运行结果:

 

3、预处理数据

在训练网络之前,必须对数据进行预处理。如果检查训练集中的第一张图像,将看到像素值落在0到255的范围内:


  
  1. plt.figure()
  2. plt.imshow(train_images[0])
  3. plt.colorbar()
  4. plt.grid(False)
  5. plt.show()

查看第一张图像(像素值落在0到255),运行结果:

将这些值缩放到0到1的范围,然后再将其输入神经网络模型。为此,将值除以255。以相同的方式预处理训练集测试集非常重要:


  
  1. train_images = train_images / 255.0
  2. test_images = test_images / 255.0

为了验证数据的格式正确,并且已经准备好构建和训练网络,让我们显示训练集中的前25张图像,并在每张图像下方显示类别名称。


  
  1. plt.figure(figsize=(10,10))
  2. for i in range(25):
  3.     plt.subplot(5,5,i+1)
  4.     plt.xticks([])
  5.     plt.yticks([])
  6.     plt.grid(False)
  7.     plt.imshow(train_images[i], cmap=plt.cm.binary)
  8.     plt.xlabel(class_names[train_labels[i]])
  9. plt.show()

运行结果:可以看到 训练集中的前25张图像

 

四、建立模型

建立神经网络需要配置模型的各层(图层),然后编译模型。

1)搭建神经网络结构

神经网络的基本组成部分是图 。图层(神经网络的结构)将输入到图层中的数据进行提取特征。

深度学习的大部分内容是将简单的层链接在一起。大多数层(例如tf.keras.layers.Dense )具有在训练期间学习的参数。


  
  1. model = keras.Sequential([
  2.     keras.layers.Flatten(input_shape=(28, 28)),
  3.     keras.layers.Dense(128, activation='relu'),
  4.     keras.layers.Dense(10)
  5. ])

此网络的第一层tf.keras.layers.Flatten将图像的格式从二维数组(28 x 28像素)转换为一维数组(28 * 28 = 784像素)。可以将这一层看作是堆叠图像中的像素行并将它们排成一行。该层没有学习参数。它只会重新格式化数据。

像素展平后,网络由两个tf.keras.layers.Dense层序列组成。这些是紧密连接或完全连接的神经层。第一Dense层具有128个节点(或神经元)。第二层(也是最后一层)返回长度为10的logits数组。每个节点包含一个得分,该得分指示当前图像属于10个类之一。

 

2)编译模型

在准备训练模型之前,需要进行一些其他设置。这些是在模型的编译步骤中添加的:

  • 损失函数 -衡量训练期间模型的准确性。希望最小化此功能,以在正确的方向上“引导”模型。
  • 优化器 -这是基于模型看到的数据及其损失函数来更新模型的方式。
  • 指标 -用于监视培训和测试步骤。以下示例使用precision ,即正确分类的图像比例。

  
  1. model.compile(optimizer='adam',
  2.               loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
  3.               metrics=['accuracy'])

 

五、训练模型

训练神经网络模型需要执行以下步骤:

  1. 将训练数据输入模型。在此示例中,训练数据在train_imagestrain_labels数组中。
  2. 训练过程中该模型会学习关联图像和标签。(找到正确的对应关系,比如a图片,对应a标签,而不是对应c标签)
  3. 使用训练好后的模型对测试集进行预测。(在本示例中为test_images数组)
  4. 验证预测是否与test_labels数组中的标签匹配。

 

1)把数据输入模型进行训练

要开始训练,请调用model.fit方法:

model.fit(train_images, train_labels, epochs=10)
 

这里训练过程中会迭代10次;

第1次训练:

第2次训练:

..........................3、4、5、6、7、8、9...................训练

第10次训练:


模型训练时,会显示损失和准确性指标。该模型在训练数据上达到约0.91(或91%)的精度。

 

2)评估准确性

比较模型在测试数据集上的表现:


  
  1. test_loss, test_acc = model.evaluate(test_images,  test_labels, verbose=2)
  2. print('\nTest accuracy:', test_acc)

运行结果: 

 测试数据集的准确性略低于训练数据集的准确性。训练准确性和测试准确性之间的差距代表过度拟合 。当机器学习模型在新的,以前看不见的输入上的表现比训练数据上的表现差时,就会发生过度拟合。过度拟合的模型“记忆”训练数据集中的噪声和细节,从而对新数据的模型性能产生负面影响。

解决方案:请参见以下内容:(有兴趣可以看一下)

 

3)作出预测

通过训练模型,可以使用它来预测某些图像。模型的线性输出logits 。附加一个softmax层,以将logit转换为更容易解释的概率。


  
  1. probability_model = tf.keras.Sequential([model,  tf.keras.layers.Softmax()])
  2. predictions = probability_model.predict(test_images)

在这里,模型已经预测了测试集中每个图像的标签。让我们看一下第一个预测:

predictions[0]
 

运行结果:

预测是由10个数字组成的数组。它们代表模型对图像对应于10种不同服装中的每一种的“置信度”。可以看到哪个标签的置信度最高: np.argmax(predictions[0])

输出是 9

因此,模型最有把握认为该图像是短靴/脚踝靴(class_names[9] );检查测试标签表明此分类是正确的:test_labels[0]

输出也是 9

 

4)验证预测

通过训练模型,可以使用它来预测某些图像。让我们看一下第0张图像,预测和预测数组。正确的预测标签为蓝色,错误的预测标签为红色。该数字给出了预测标签的百分比(满分为100)。

正确的预测标签为蓝色:


  
  1. i = 0
  2. plt.figure(figsize=(6,3))
  3. plt.subplot(1,2,1)
  4. plot_image(i, predictions[i], test_labels, test_images)
  5. plt.subplot(1,2,2)
  6. plot_value_array(i, predictions[i],  test_labels)
  7. plt.show()

运行结果: 

 

错误的预测标签为红色:


  
  1. i = 12
  2. plt.figure(figsize=(6,3))
  3. plt.subplot(1,2,1)
  4. plot_image(i, predictions[i], test_labels, test_images)
  5. plt.subplot(1,2,2)
  6. plot_value_array(i, predictions[i],  test_labels)
  7. plt.show()

运行结果:  

 

绘制一些带有预测的图像:


  
  1. # 绘制一些带有预测的图像
  2. # 绘制前X张测试图像,它们的预测标签和真实标签。
  3. # 将正确的预测颜色设置为蓝色,将不正确的预测颜色设置为红色。
  4. num_rows = 5
  5. num_cols = 3
  6. num_images = num_rows*num_cols
  7. plt.figure(figsize=(2*2*num_cols, 2*num_rows))
  8. for i in range(num_images):
  9. plt.subplot(num_rows, 2*num_cols, 2*i+1)
  10. plot_image(i, predictions[i], test_labels, test_images)
  11. plt.subplot(num_rows, 2*num_cols, 2*i+2)
  12. plot_value_array(i, predictions[i], test_labels)
  13. plt.tight_layout()
  14. plt.show()

 

 

六、使用训练有素的模型

使用经过训练的模型对单个图像进行预测;先挑一张图片,比如test_images[0],它是这样的:

它是短靴/脚踝靴,对应标签是9。下面使用模型进行预测:


  
  1. # 【6 使用训练有素的模型】
  2. # 使用经过训练的模型对单个图像进行预测。
  3. # 从测试数据集中获取图像。
  4. img = test_images[0]
  5. # 将图像添加到唯一的批处理
  6. img = (np.expand_dims(img,0))
  7. # 为该图像预测正确的标签:
  8. predictions_single = probability_model.predict(img)
  9. print("输出每一个标签的把握:", predictions_single) # 一共10个标签,索引从0,1,2到9
  10. plot_value_array(1, predictions_single[0], test_labels)
  11. _ = plt.xticks(range(10), class_names, rotation=45)
  12. # keras.Model.predict返回一个列表列表-数据批次中每个图像的一个列表。批量获取我们(仅)图像的预测
  13. print("模型预测的结果:", np.argmax(predictions_single[0]))

运行结果:

我们可以看到有99.6%的把握认为是标签9,预测正确了,能分辨出是短靴/脚踝靴(标签是9)。

 

七、源代码:


  
  1. # 本程序基于TensorFlow训练了一个神经网络模型来对运动鞋和衬衫等衣物的图像进行分类。
  2. # 使用tf.keras (高级API)在TensorFlow中构建和训练模型。
  3. # TensorFlow and tf.keras
  4. import tensorflow as tf
  5. from tensorflow import keras
  6. # Helper libraries
  7. import numpy as np
  8. import matplotlib.pyplot as plt
  9. # 查看当前tensorflow版本
  10. print("当前tensorflow版本", tf.__version__)
  11. # 【1 导入Fashion MNIST数据集】
  12. '''
  13. 加载数据集将返回四个NumPy数组:
  14. train_images和train_labels数组是训练集 ,即模型用来学习的数据。
  15. 针对测试集 , test_images和test_labels数组对模型进行测试
  16. '''
  17. '''
  18. 图像是28x28 NumPy数组,像素值范围是0到255。 标签是整数数组,范围是0到9。这些对应于图像表示的衣服类别 :
  19. 标签 类
  20. 0 T恤
  21. 1 裤子
  22. 2 套衫/卫衣
  23. 3 连衣裙
  24. 4 外衣/外套
  25. 5 凉鞋
  26. 6 衬衫
  27. 7 运动鞋
  28. 8 袋子
  29. 9 短靴/脚踝靴
  30. '''
  31. fashion_mnist = keras.datasets.fashion_mnist
  32. (train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
  33. # 每个图像都映射到一个标签
  34. class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
  35. 'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']
  36. # 【2 探索数据】
  37. # 在训练模型之前,让我们探索数据集的格式。下图显示了训练集中有60,000张图像,每个图像表示为28 x 28像素
  38. print("训练集总图片数:", train_images.shape)
  39. # 训练集中有60,000个标签
  40. print("训练集中标签数:", len(train_labels))
  41. # 每个标签都是0到9之间的整数
  42. print("标签取值:", train_labels)
  43. # 测试集中有10,000张图像。同样,每个图像都表示为28 x 28像素
  44. print("测试集总图片数:", test_images.shape)
  45. # 测试集包含10,000个图像标签
  46. print("测试集标签数:", len(test_labels))
  47. # 【3 预处理数据】
  48. # 在训练网络之前,必须对数据进行预处理。如果检查训练集中的第一张图像,将看到像素值落在0到255的范围内
  49. plt.figure()
  50. plt.imshow(train_images[0])
  51. plt.colorbar()
  52. plt.grid(False)
  53. plt.show()
  54. # 将这些值缩放到0到1的范围,然后再将其输入神经网络模型。为此,将值除以255。以相同的方式预处理训练集和测试集非常重要:
  55. train_images = train_images / 255.0
  56. test_images = test_images / 255.0
  57. #为了验证数据的格式正确,并且已经准备好构建和训练网络,让我们显示训练集中的前25张图像,并在每张图像下方显示班级名称。
  58. plt.figure(figsize=(10,10))
  59. for i in range(25):
  60. plt.subplot(5,5,i+1)
  61. plt.xticks([])
  62. plt.yticks([])
  63. plt.grid(False)
  64. plt.imshow(train_images[i], cmap=plt.cm.binary)
  65. plt.xlabel(class_names[train_labels[i]])
  66. plt.show()
  67. # 【4 建立模型】
  68. # 建立神经网络需要配置模型的各层,然后编译模型
  69. # 搭建神经网络结构 神经网络的基本组成部分是层 。图层(神经网络结构)从输入到其中的数据中提取表示
  70. # 深度学习的大部分内容是将简单的层链接在一起。大多数层(例如tf.keras.layers.Dense )具有在训练期间学习的参数。
  71. model = keras.Sequential([
  72. keras.layers.Flatten(input_shape=(28, 28)),
  73. keras.layers.Dense(128, activation='relu'),
  74. keras.layers.Dense(10)
  75. ])
  76. '''
  77. 编译模型
  78. 在准备训练模型之前,需要进行一些其他设置。这些是在模型的编译步骤中添加的:
  79. 损失函数 -衡量训练期间模型的准确性。您希望最小化此功能,以在正确的方向上“引导”模型。
  80. 优化器 -这是基于模型看到的数据及其损失函数来更新模型的方式。
  81. 指标 -用于监视培训和测试步骤。以下示例使用precision ,即正确分类的图像比例。
  82. '''
  83. model.compile(optimizer='adam',
  84. loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
  85. metrics=['accuracy'])
  86. # 【5 训练模型】
  87. '''
  88. 训练神经网络模型需要执行以下步骤:
  89. 1.将训练数据输入模型。在此示例中,训练数据在train_images和train_labels数组中。
  90. 2.该模型学习关联图像和标签。
  91. 3.要求模型对测试集进行预测(在本示例中为test_images数组)。
  92. 4.验证预测是否与test_labels数组中的标签匹配。
  93. '''
  94. # 要开始训练,请调用model.fit方法,之所以这么称呼是因为它使模型“适合”训练数据:
  95. model.fit(train_images, train_labels, epochs=10)
  96. # 比较模型在测试数据集上的表现
  97. test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)
  98. print('\nTest accuracy:', test_acc)
  99. # 作出预测 通过训练模型,您可以使用它来预测某些图像。模型的线性输出logits 。附加一个softmax层,以将logit转换为更容易解释的概率。
  100. probability_model = tf.keras.Sequential([model, tf.keras.layers.Softmax()])
  101. predictions = probability_model.predict(test_images)
  102. print(predictions[0])
  103. print(np.argmax(predictions[0]))
  104. print(test_labels[0])
  105. # 以图形方式查看完整的10个类预测。
  106. def plot_image(i, predictions_array, true_label, img):
  107. true_label, img = true_label[i], img[i]
  108. plt.grid(False)
  109. plt.xticks([])
  110. plt.yticks([])
  111. plt.imshow(img, cmap=plt.cm.binary)
  112. predicted_label = np.argmax(predictions_array)
  113. if predicted_label == true_label:
  114. color = 'blue'
  115. else:
  116. color = 'red'
  117. plt.xlabel("{} {:2.0f}% ({})".format(class_names[predicted_label],
  118. 100*np.max(predictions_array),
  119. class_names[true_label]),
  120. color=color)
  121. def plot_value_array(i, predictions_array, true_label):
  122. true_label = true_label[i]
  123. plt.grid(False)
  124. plt.xticks(range(10))
  125. plt.yticks([])
  126. thisplot = plt.bar(range(10), predictions_array, color="#777777")
  127. plt.ylim([0, 1])
  128. predicted_label = np.argmax(predictions_array)
  129. thisplot[predicted_label].set_color('red')
  130. thisplot[true_label].set_color('blue')
  131. '''验证预测
  132. 通过训练模型,您可以使用它来预测某些图像。
  133. 让我们看一下第0张图像,预测和预测数组。正确的预测标签为蓝色,错误的预测标签为红色。该数字给出了预测标签的百分比(满分为100)。'''
  134. i = 0
  135. plt.figure(figsize=(6,3))
  136. plt.subplot(1,2,1)
  137. plot_image(i, predictions[i], test_labels, test_images)
  138. plt.subplot(1,2,2)
  139. plot_value_array(i, predictions[i], test_labels)
  140. plt.show()
  141. i = 12
  142. plt.figure(figsize=(6,3))
  143. plt.subplot(1,2,1)
  144. plot_image(i, predictions[i], test_labels, test_images)
  145. plt.subplot(1,2,2)
  146. plot_value_array(i, predictions[i], test_labels)
  147. plt.show()
  148. # 绘制一些带有预测的图像
  149. # 绘制前X张测试图像,它们的预测标签和真实标签。
  150. # 将正确的预测颜色设置为蓝色,将不正确的预测颜色设置为红色。
  151. num_rows = 5
  152. num_cols = 3
  153. num_images = num_rows*num_cols
  154. plt.figure(figsize=(2*2*num_cols, 2*num_rows))
  155. for i in range(num_images):
  156. plt.subplot(num_rows, 2*num_cols, 2*i+1)
  157. plot_image(i, predictions[i], test_labels, test_images)
  158. plt.subplot(num_rows, 2*num_cols, 2*i+2)
  159. plot_value_array(i, predictions[i], test_labels)
  160. plt.tight_layout()
  161. plt.show()
  162. # 【6 使用训练有素的模型】
  163. # 使用经过训练的模型对单个图像进行预测。
  164. # 从测试数据集中获取图像。
  165. img = test_images[0]
  166. # 将图像添加到唯一的批处理
  167. img = (np.expand_dims(img,0))
  168. # 为该图像预测正确的标签:
  169. predictions_single = probability_model.predict(img)
  170. print("输出每一个标签的把握:", predictions_single) # 一共10个标签,索引从0,1,2到9
  171. plot_value_array(1, predictions_single[0], test_labels)
  172. _ = plt.xticks(range(10), class_names, rotation=45)
  173. # keras.Model.predict返回一个列表列表-数据批次中每个图像的一个列表。批量获取我们(仅)图像的预测
  174. print("模型预测的结果:", np.argmax(predictions_single[0]))

希望对你有帮助;

 

本文参考:

Tensorflow 官网:https://www.tensorflow.org/

 

 

 

文章来源: guo-pu.blog.csdn.net,作者:一颗小树x,版权归原作者所有,如需转载,请联系作者。

原文链接:guo-pu.blog.csdn.net/article/details/108496516

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。