机器学习之深度学习简介

举报
南蓬幽 发表于 2022/06/28 15:19:06 2022/06/28
【摘要】 深度学习 1. 深度学习介绍 2. 深度学习原理 3. 深度学习实现 深度学习 1. 深度学习介绍深度学习(Deep learning)是机器学习的一个分支领域,其源于人工神经网络的研究。深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领域。人工神经网络(Artificial Neural Network),以数学模型模拟神经元活动,是基于模仿大脑神经网络结构和功能而建立的一种信...

深度学习

1. 深度学习介绍

深度学习(Deep learning)是机器学习的一个分支领域,其源于人工
神经网络的研究。
深度学习广泛应用在计算机视觉,音频处理,自然语言处理等诸多领
域。
在这里插入图片描述
人工神经网络(Artificial Neural Network),以数学模型模拟神经
元活动,是基于模仿大脑神经网络结构和功能而建立的一种信息处理系
统。
在这里插入图片描述
生物神经细胞结构

在这里插入图片描述

感知器模型

在这里插入图片描述

2. 深度学习原理

前向传播(Forward Propagation),从输入经过一层层隐层计算得
到输出的过程,也就是加权求和,然后经过一个激活函数。
在这里插入图片描述
反向传播(Backward Propagation)则是与前向传播的计算方向相
反,它是计算输出值与真实值之间的误差,通过网络反向流动来计算每
一层参数的梯度(偏导数),来更新训练参数。
在这里插入图片描述
1)常用激活函数
1、Sigmoid函数
在这里插入图片描述
导数
在这里插入图片描述
2、tanh函数
在这里插入图片描述
导数

在这里插入图片描述
3、Relu函数
在这里插入图片描述
导数
在这里插入图片描述
4、Leaky Relu函数

在这里插入图片描述导数
在这里插入图片描述

2)常用损失函数
1、均方差损失函数
在这里插入图片描述
2、交叉熵损失函数
在这里插入图片描述
(3)常用优化函数
1、SGD:随机梯度下降优化器

在这里插入图片描述
2、Momentum:带动量的随机梯度下降

在这里插入图片描述

3、Nesterov Accelerated Gradient:牛顿加速梯度下降

在这里插入图片描述
4、Adagrad(Adaptive gradient):自适应梯度下降
在这里插入图片描述5、Adadelta
在这里插入图片描述

在这里插入图片描述
6、RMSprop

在这里插入图片描述
6、Adam:Adaptive Moment Estimation

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3. 深度学习实现

深度学习网络实现回归
深度学习网络实现分类

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。