《AI安全之对抗样本入门》—3.2　TensorFlow

3.2　TensorFlow

TensorFlow是被工业界和学术界使用最广泛的深度学习框架之一。我们以解决经典的手写数字识别的问题为例，介绍TensorFlow的基本使用方法，代码路径为：

https://github.com/duoergun0729/adversarial_examples/blob/master/code/2-tensorflow.ipynb

1. 加载相关库

加载处理经典的手写数字识别的问题相关的Python库。

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data

from tensorflow.python.framework import graph_util

import os

2. 加载数据集

MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片如图3-3所示。

它也包含每一张图片对应的标签，告诉我们这个是数字几。比如这四张图片的标签分别是5、0、4、1。数据集包括60000个的训练数据集和10000个的测试数据集，见表3-1。每一个MNIST数据单元由两部分组成，即一张包含手写数字的图片和一个对应的标签。

图3-3　MNIST图片示例

表3-1　MNIST数据集详解

MNIST的网址为：http://yann.lecun.com/exdb/mnist/。MNIST官网如图3-4所示。

图3-4　MNIST官网

MNIST默认图像的形状为[28,28,1]，为了便于处理，需要改变其形状为一维向量784。另外特征数据需要归一化为0到1，这可以通过除以255来完成。默认的标签的数据类型为整数，取值范围为0到9，为了便于深度学习网络训练，通常会把标签数据转换为独热编码(One Hot)。所谓独热编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。比如标签0到5就可以分别编码为：

000001,000010,000100,001000,010000,100000

3. 定义网络结构

本例中输入层大小为784，隐藏层节点数为300，激活函数为relu，中间为了避免过拟合，使用Dropout层，输出层大小为10，激活函数为softmax。为了导出导入pb文件时方便，将输入命名为input，将输出命名为output。网络结构使用工具TensorBoard查看，如图3-5所示。

图3-5　TensorFlow处理MNIST的网络结构图

in_units = 784 #输入节点数

h1_units = 300 #隐藏层节点数

#初始化隐藏层权重W1，服从默认均值为0，标准差为0.1的截断正态分布

W1 = tf.Variable(tf.truncated_normal([in_units, h1_units], stddev=0.1))

b1 = tf.Variable(tf.zeros([h1_units])) #隐藏层偏置b1全部初始化为0

W2 = tf.Variable(tf.zeros([h1_units, 10]))

b2 = tf.Variable(tf.zeros([10]))

x = tf.placeholder(tf.float32, [None, in_units],name="input")

keep_prob = tf.placeholder(tf.float32,name="keep_prob")

#定义模型结构

hidden1 = tf.nn.relu(tf.matmul(x, W1) + b1)

hidden1_drop = tf.nn.dropout(hidden1, keep_prob)

y = tf.nn.softmax(tf.matmul(hidden1_drop, W2) + b2,name="output")

4. 定义损失函数和优化器

完成了前向传播的定义，就需要定义损失函数和优化器，便于训练阶段进行反向传递。本例为多分类问题，故使用交叉熵定义损失函数，使用Adagrad优化器。

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y),

reduction_indices=[1]))

train_step = tf.train.AdagradOptimizer(0.3).minimize(cross_entropy)

5. 训练与验证

初始化参数，迭代训练5000轮，每轮训练的批处理大小为100，为了抵御过拟合，每次训练时仅通过75%的数据。每训练200批次，打印中间结果。

sess.run(tf.global_variables_initializer())

correct_prediction = tf.equal(tf.arg_max(y, 1), tf.arg_max(y_, 1))

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

for i in range(5000):

     batch_xs, batch_ys = mnist.train.next_batch(100)

     _,loss=sess.run([train_step,cross_entropy],{x: batch_xs, y_: batch_ys, keep_prob: 0.75})

     if i % 200 == 0:

           acc=accuracy.eval(feed_dict={x:mnist.test.images,

                                         y_:mnist.test.labels,keep_prob:1})

            print("loss={},acc={}".format(loss,acc))

经过5000轮训练，准确度达到98%。

loss=0.021222606301307678,acc=0.9814000129699707

loss=0.04722728207707405,acc=0.9786999821662903

loss=0.024759886786341667,acc=0.9797000288963318

loss=0.009720790199935436,acc=0.9803000092506409