AI数学基础之凸优化——华为AI学习笔记3
【摘要】 1. 凸优化的基本概率机器学习大部分问题都可以转化为优化问题优化问题的流程：决策→目标→约束1.2. 求解1.2.1. 无约束问题直接法：坐标轮换法、爬山法、方向加速法解析法：梯度下降法、牛顿法、共轭方向法等1.2.2. 有约束问题等式约束最优化不等式线束最优化（有约束问题的求解可参见1.3. 凸优化目标函数是凸函数的优化问题（凸函数可参见学习笔记|凸函数的定义与性质，事实上这个说法并不严谨...
1. 凸优化的基本概率
机器学习大部分问题都可以转化为优化问题
优化问题的流程：决策→目标→约束
1.2. 求解
1.2.1. 无约束问题
-
直接法：坐标轮换法、爬山法、方向加速法
-
解析法：梯度下降法、牛顿法、共轭方向法等
1.2.2. 有约束问题
-
等式约束最优化
-
不等式线束最优化
（有约束问题的求解可参见
1.3. 凸优化
目标函数是凸函数的优化问题
（凸函数可参见学习笔记|凸函数的定义与性质，事实上这个说法并不严谨）
凸优化问题中局部最优等于全局最优
2. 无约束最优化
对于可导函数，导数为0的点是极值点。
2.1. 梯度下降法
对单变量，梯度就是导数
梯度下降法也叫最速下降法
2.2. 牛顿法
又被称为切线法
牛顿法的收敛速度比梯度下降法更快
但每次迭代都要计算二阶导数矩阵和它的逆矩阵，计算量大，且逆矩阵可能不存在
3. 约束最优化
3.1. 等式约束
可参见学习笔记|拉格朗日乘子法）
3.2. 不等式约束
可参见学习笔记|线性规划的标准化、学习笔记|KKT条件与拉格朗日乘子法、学习笔记|广义拉格朗日函数与KKT条件的应用等。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）