李宏毅《机器学习》丨4. Deep Learning(深度学习)
【摘要】 一、深度学习发展历史1958: Perceptron (linear model)1969: Perceptron has limitation1980s: Multi-layer perceptronDo not have significant difference from DNN today1986: BackpropagationUsually more than 3 hidde...
一、深度学习发展历史
- 1958: Perceptron (linear model)
- 1969: Perceptron has limitation
- 1980s: Multi-layer perceptron
Do not have significant difference from DNN today - 1986: Backpropagation
Usually more than 3 hidden layers is not helpful - 1989: 1 hidden layer is “good enough”, why deep?
- 2006: RBM initialization (breakthrough)
- 2009: GPU
- 2011: Start to be popular in speech recognition
- 2012: win ILSVRC image competition
二、深度学习三个步骤
2.1 Step1:神经网络(Neural network)
以神经元(neuron)为基本单位,通过神经元之间的互相连接,建立神经网络。
神经元之间有很多不同的连接方式,这样就会产生不同的结构(structure)。
- 完全连接前馈神经网络:相邻层神经元之间都有连接,而且传递的方向是由后往前传。
▲ 完全连接前馈神经网络
深度(Deep)的理解
Deep = Many hidden layer
- 2012 AlexNet:8层
- 2014 VGG:19层
- 2014 GoogleNet:22层
- 2015 Residual Net:152层
- 101 Taipei:101层
▲ 深度层数的发展
矩阵计算(Matrix Operation)
随着层数变多,错误率降低,随之运算量增大,通常都是超过亿万级的计算。对于这样复杂的结构,我们一定不会一个一个的计算,对于亿万级的计算,使用loop循环效率很低。因此,利用矩阵计算(Matrix Operation)提高运算的速度以及效率。
▲ 矩阵计算(Matrix Operation)
FAQ(Frequently Asked Questions)
- 多少层? 每层有多少神经元?
- 结构可以自动确定吗?
- 我们可以设计网络结构吗?
▲ FAQ
2.2 Step2:模型评估(Goodness of function)
对于模型的评估,我们一般采用损失函数来反应模型的好差,所以对于神经网络来说,我们采用交叉熵(cross entropy)函数来对损失进行计算,通过调整参数,让交叉熵误差越来越小。
▲ 损失示例
2.3 Step3:选择最优函数(Pick best function)
-
梯度下降(Gradient Descent): 3. Gradient Descent(梯度下降)
-
反向传播(Backpropagation):BP(Back Propagation)神经网络——原理篇
三、深度学习思考
为什么要用深度学习,深层架构带来哪些好处?那是不是隐藏层越多越好?
▲ 隐藏层越多越好?
▲ 普遍性定理
四、总结
Datawhale组队学习,李宏毅《机器学习》Task4. Deep Learning(深度学习)。主要包括深度学习发展历史、深度学习三个步骤:神经网络 模型评估 选择最优函数、深度学习思考。
——END——
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论(0)