1.人工智能、机器学习、深度学习之间的区别和联系

三者的关系：人工智能 > 机器学习 > 深度学习

2. 回归模型建立的步骤
模型假设：选择模型框架
模型评估：如何判断模型的好坏（损失函数的确定）
模型优化：如何筛选最优模型（梯度下降）
3. 深度学习的三个步骤
神经网络
常见的有完全连接前馈神经网络
模型评估
涉及到了交叉熵和总体损失
选择最优函数
此处重点为梯度下降以及反向传播（链式法则）
4. 网络设计时需要思考的点
局部最小值与鞍点的判定
用来判断总体损失是否还有减少的方向
批次与动量
自动调整的学习率
在坡度较大的地方，我们希望我们的步长小一点，此时我们应减小Learning Rate；在坡度较小的地方，我们希望我们的步长大一点，此时我们应增加Learning Rate
损失函数的影响
5.卷积神经网络
使用的原因：
本质原因：减少参数
小区域（small region）
相同的特征（same pattern）
缩放（Subsampling）
架构
卷积
max pooling

总结：通过学习还是只能大概的了解一个皮毛，深层次学习还得继续，会在后续把李宏毅官方发的全部的机器学习的教程看完。