一、神经网络基础概念

1.神经元

       生物神经元->人工神经元

求和节点是线性的，激活函数为其他特殊函数

人工神经网络：输入层，隐藏层，输出层

前馈网络CNN，反馈网络RNN，图网络没有特定的传输方向

2.感知机

    单层感知机实际是一个二分类器

只有输入层和输出层，没有隐藏层，经过求和运算后符号函数，输出。

单层感知机只能处理线性问题，比如或运算，而处理不了非线性问题，如异或运算，若要处理非线性问题需要加入隐藏层，即多个线性问题进行处理。

神经网络扩张：

    在单层感知机上增加隐藏层的数量，增加模型的表达能力（能加一层隐藏层可分类曲线）

    增加每层网络神经元的数量，主要增加感知层神经元数量

    改变激活函数，实现不同功能

3.激活函数

实线是原函数，虚线为倒数。可以看出在中央区增益很大，可视为神经元活跃的状态，主要研究中央区。

选择激活函数：非线性，连续可微性，有界性，单调性，平滑性

4.前向传播及损失函数

    前向传播即前向网络，多层就可实线不同功能，进行计算预测。

    损失函数：用来估量预测模型的预测值与实际值的相符程度，损失函数越小，相符程度越高。

求损失函数最小值：

    梯度下降算法:

       重要指标：初始位置，步长

       全局梯度下降算法：每次带入全部数据，训练慢

       随机梯度下降算法：每次随机选取一个点带入，训练快但是容易选取噪声点有误差

       小批量梯度下降法：兼顾全局梯度下降算法和随机梯度下降算法，选取小批次数据进行训练，更快捷有效。

5.反向传播

    将输出的误差乘权重反相传播回隐藏层，得出每个隐藏层神经元需要对此误差的权重比例并重新计算隐藏层权重找出最优算法。

6.卷积神经网络（CNN）

    主要用于图像处理，包括卷积层，池化层，全连接层。

    单核卷积：通过卷积核对图像进行扫描，图像灰度值与卷积核相乘在相加得到特征图

    多核卷积：将图像分为RGB三层，每层进行卷积得到特征图

    核心思想：

       局部感知：通过卷积核进行局部感知确认图像

       参数共享:卷积核参数不变，即识别相同

    池化层：通过对卷积之后的特征图减小数据量

       选择池化大小，通过步长，提取最大的特征值，得到池化后的特征图，图片的特征不变被保留但减小图片尺寸

    全连接层：分类器作用，将池化后的特征图分离得出列向量，进行计算，处理和时间不是强相关的信息。

7.循环神经网络（RNN）

    处理上下文有相关性的信息，通过上文的反馈给到下面的计算，形成上下文的相关性

缺点：随着RNN在时间梯度的增长，W会过大或过小，容易发生梯度消失和梯度爆炸的现象，对长时间的信息记忆问题也会衰减。

二、数据集处理

1.数据集

    数据类型（1）：图片，视频

    结构化数据：能存储在收据库中，如二维表等

    非结构化数据：图片，视频等，通过卷积神经网络提取特征

    数据类型（2）：语音数据，文本数据（非结构化序列数据）

    数据类型（3）：时序数据（随时间变化）

    数据集划分：

       训练集：通过输入构建机器学习模型，从数据中获取模型最佳参数

       验证集：辅助构建机器学习模型，在构建过程中评估模型，调整参数

       测试集：用来评估最终模型的性能

2.数据集分割

    训练集和测试集是同分布的

    保证训练集和测试集是同分布：

       留出法：

    K折交叉验证法：

3.偏差与方差

    衡量模型的表现

    偏差：训练集预测值-真实值（衡量算法拟合程度）（训练集误差）

    方差：同样大小的训练集变动引发的学习性能的变化（数据扰动所带来的影响）（验证集误差-训练集误差）

减少偏差和方差的方法：

    方差和偏差对泛化误差的影响：

    在训练量小的情况下，偏差占主导地位

    在训练量大时，方差占主导地位

三、网络构建

1.网络模型构建

    如何正取选择前面的所学的神经网络：

    卷积神经网络相比传统神经网络是更有优势的，所用空间更少

2.超参数设置

    参数：1.从学习中得到，

       2.只能认为地靠经验设定---超参数

    寻找超参数：

        通过不断测试不同超参数进行试错，寻找最适合的超参数

    最重要的超参数：学习率α

    学习率的改变会影响学习时间和损失值大小，要寻找适合的学习率使损失值达到最小。

    使用较小批次更新网络参数

3.激活函数及损失函数的选择

能够确保稀疏性，但是ReLU在小于0 的情况下会导致神经元的死亡，所以用改进的Leaky ReLU函数，可减少神经元的死亡但是稀疏性会下降。