搭建浅层神经网络"Hello world"
作为图像识别与机器视觉界的 "hello world!" , MNIST ("Modified National Institute of Standards and Technology") 数据集有着举足轻重的地位。基本上每本人工智能、机器学习相关的书上都以它作为开始。
下面我们会用 TensorFlow 搭建一个浅层的神经网络来运行 "hello world!" 模型。 以下内容和模块的运算,均在矩池云平台进行。
本次教程分五步:
第一步:数据预处理,包括提取数据标签、查看图片数据、数据可视化、查看数据是否平衡等
第二步:数据加载,打乱数据集
第三步:构建模型,简单介绍网络卷积模型和激活函数,定义训练函数和学习率
第四步:模型训练,查看训练过程和结果,使用图表查看模型精确度和学习率变化
第五步:尝试提升精准度,不断探索和优化
在搭建开始前,我们需要加载以下对应的模块:
第一步:数据预处理
1.1查看数据标签
在任何模型建立之前,应当优先查看数据的情况。例如数据集的大小、训练集和测试集的数据数量、标签的数据数量分布等。 下方为训练集和测试集的数据查看代码:
train = pd.read_csv('mnist/mnist_train.csv') # read traintest = pd.read_csv('mnist/mnist_test.csv') # read train
下方为训练集和测试集的数量结果:
train.shape (6000,785)test.shape (10000,785)
我们可以看到 train 训练集里面有6000条数据,test 测试集里面有10000条数据,两个测试集每行都有785个数据。
接下来,我们来看下数据集的预览:其中第一列是标签列,剩余784列则为像素点数据,由该784列数据组成一张28*28的像素图片。
1.2 提取数据标签
接下来,我们进行数据标签的提取和处理。先来看下标签数据的提取代码:
train_labels = np.array(train.pop('label'))test_labels = np.array(test.pop('label'))
查看标签种类,我们可以看出标签表示了从0~9的数字,没有其他的错误数据。
由于运算需要,我们需要将一维的图片数据转换成二维图片数据。将图片数据转换成长28,宽28,通道为1的格式,方便卷积计算。
第二步:数据可视化
2.1 随机生成数据匹配
现在随机选取一些我们已经转换好的图片数据,用 matplot 来查看下标签和图片是否能够对上。
方框内是随机生成的一些非规则写法,图片上方正中间则为对应的数字。
2.2 查看数据是否平衡
分类器的设计都是基于类分布大致平衡这一假设,通常假定用于训练的数据是平衡的,即各类所含样本数大致相当。
下面我们来看下标签的分布情况,查看每个标签种类的数据量是否分布均匀。
在 MINST 数据集中,我们的数据是处于一个均匀分布的状态。
sns.distplot(train_labels, kde=False, bins=10)
2.3 数据加载
在建立模型之前,我们需要先定义一些常量:
# 图像宽度width = 28# 图像高度height = 28# batch sizebatch_size = 100# 训练图片数量train_images_num = train.shape[0]
下一步,我们为模型建立数据集。TensorFlow 提供了 Dataset 类可以方便加载训练的数据,使用方式为 tf.data.Dataset。
其中,训练集的数据,我们进行了随机打乱。
train = tf.cast(train, tf.float32) test = tf.cast(test, tf.float32) train_ds = tf.data.Dataset.from_tensor_slices((train, train_labels)).shuffle(train_images_num).batch(batch_size) test_ds = tf.data.Dataset.from_tensor_slices((test, test_labels)).batch(batch_size)
第三步:模型构建
3.1 构建模型的网络层次结构
数字识别作为入门工程,我们的模型也会相对的简单。当前构建模型,采用了以下几层网络层次结构:
第一层二维卷积层
Flatten 层:这层的作用是将第一层的卷积曾平坦压缩成一维,常用在从卷积层到全连接曾的过度,当然 Flatten 不影响 batch 的大小
Dense 层:全连接神经网络层
Dense 层:全连接神经网络层
每一层对应的激活函数如下:
第一层使用 ReLU 函数
Flatten 层( 无 )
Dense 层 ReLU 函数
Dense 层使用 softmax 损失函数进行输出
3.2 关于激活函数的解释说明
ReLU函数
ReLU 函数全名为线性整流函数(Rectified Linear Unit, ReLU),又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。
ReLU的函数表达式为:
用向量形式表达为:
函数曲线形态为:
从函数的表达可以看出,函数抑制了比 0 小的输入,这个激活函数有以下特点:
收敛快
在[ 0, x ]区间内不会饱和,即它可以对抗梯度消失问题
求导简单,也就是它的计算效率很高
softmax 函数
softmax 用于多分类过程中,它将多个神经元的输出映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类。
我们来看下它的数学表达式,假设我们有一个数组,
- 点赞
- 收藏
- 关注作者
评论(0)