本周主要学习了华为云在线课堂AI技术领域课程中“深度学习”的前三章，本文主要写一些学习心得如下：

神经网络中的基本概念：

神经元、神经网络、感知机、激活函数以及损失函数等网络的基本组成与概念。还学习了网络的训练方法包括前向传播、与误差反向传播算法。最后了解了最常用的两种神经网络，卷积神经网络和循环神经网络。通过这些基本概念的学习，让我改变了自己原有的认为深度学习难学难懂的看法，这个课程讲的很基础，很适合小白学习。

神经元

生物神经元和人工神经元有一定的区别和联系，学习人工神经元可以结合生物神经元的特点进行学习：

人工神经元由线性函数和激活函数构成：

人工神经网络：通过一定的连接方式或信息传递方式进行协作的神经元可以看做是一个网络，就是人工神经网络，简称神经网络（Artificial Neural Network,ANN），人工神经网络包括输入层，隐藏层和输出层。根据神经元之间的连接关系，可以将神经网络分为前馈网络，反馈网络，以及图网络

感知机

本质上是一个二分类器型的人工神经网络：

隐藏层层数可以影响神经网络的分类能力，特征表达能力。

神经网络的扩张主要是神经网络在感知器的模型上做了三点扩张：增加网络层数，增加每层网络的神经元数量，调整激活函数。

激活函数

选取激活函数的方式：根据非线性，连续可微性，有界性，单调性，平滑性。

前向传播（Forward Propagation）

指的是输入信号从输入层传输到输出层。

损失函数（loss function）

是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数，通常使用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性就越好。

常用的损失函数：均方误差：    E=∑d∈D(td-Od)^2  应用于回归问题

                             交叉熵误差：E=∑d∈D0d,lntd  应用于分类问题

损失函数的极值：

沿着梯度下降的方向可以找到极小值点；梯度下降方法有全局梯度下降算法，随机梯度下降算法，小批量梯度下降

反向传播算法

误差反向传播算法（Error Back Propagation）是神经网络的重要算法，它使用链式求导法则将输出层的误差反向传回给网络，使神经网络的权重有了较简单的梯度计算实现方法。

卷积神经网络

卷积神经网络（Convolutional Neural Network ，CNN）是一种前馈神经网络，对于图像处理有出色表现，它包括卷积层，池化层，全连接层

CNN核心思想有两个，分别是局部感知和参数共享

CNN全景：

多核卷积层：通过不同的卷积核提取图像的局部特征信息。

池化层：降低特征图参数量，保留图像显著特征，降低过拟合，扩大感知野和解决图像不变性。

全连接：可以用来将最后得到的特征映射到线性可分空间，在整个卷积神经网络中起到“分类器”的作用。

循环神经网络

循环神经网络（Recurrent Neural Network，RNN）是一种通过隐藏层节点周期性的连接来捕捉序列化数据中动态信息的神经网络，可以对序列化的数据进行分类。

数据集处理：

通过本章节的学习，我了解到常见的数据类型，数据集划分的原则，以及处理模型方差与偏差的方法

数据集

在机器学习任务中使用的一组数据，其中的每一个数据称为一个样本。反映样本在某方面的表现或性质的事项或属性称为特征。

数据集划分：训练集，验证集，测试集。

数据集分割：留出法，K-折交叉验证，Holdout交叉验证，自助法等

偏差与方差：偏差=训练集预测值-真实值（算法的拟合度）

                      方差=验证集误差-训练集误差（数据扰动带来的影响）

网络构建

主要了解了如何选择合适的神经网络并进行构建，以及超参数的定义和如何设置超参数，学习了激活函数及损失函数对网络模型构建的影响。

网络模型构建

超参数的设置

有的模型错误率居高不下，主要是因为模型实现中的bug,超参数选择不合适，数据模型不适配，数据集构造问题等。

超参数：算法中的学习率，梯度下降法循环数，隐藏层数目，隐藏层单元数目，激活函数的选择等。

寻找超参数的最优值就是要不断实验：

提升CNN泛化能力：使用更多数据，使用更大批次，调整数据分布，调整目标函数，调整网络结构，数据增强，权值正则化。

激活函数和损失函数的选择

CNN激活函数：ReLU  f(x)=max(0,x); Leaky ReLU函数  f(x)=x,if x≥0；ax,if x＜0；Maxout

CNN损失函数：分类，交叉熵损失函数；回归，L1,L2损失函数。作用：逐像素比较差异，避免正负值相互抵消，可对像素之差取绝对值或者平方。

RNN激活函数：Tanh函数

RNN损失函数：交叉熵损失函数