AI数学基础之凸优化——华为AI学习笔记3
量化策略s
发表于
1. 凸优化的基本概率
机器学习大部分问题都可以转化为优化问题
优化问题的流程：决策→目标→约束
1.2. 求解
1.2.1. 无约束问题
直接法：坐标轮换法、爬山法、方向加速法
解析法：梯度下降法、牛顿法、共轭方向法等
1.2.2. 有约束问题
等式约束最优化
不等式线束最优化
（有约束问题的求解可参见
1.3. 凸优化
目标函数是凸函数的优化问题
（凸函数可参见学习笔记|凸函数的定义与性质，事实上这个说法并不严谨）
凸优化问题中局部最优等于全局最优
2. 无约束最优化
对于可导函数，导数为0的点是极值点。
2.1. 梯度下降法
对单变量，梯度就是导数
梯度下降法也叫最速下降法
2.2. 牛顿法
又被称为切线法
牛顿法的收敛速度比梯度下降法更快
但每次迭代都要计算二阶导数矩阵和它的逆矩阵，计算量大，且逆矩阵可能不存在
3. 约束最优化
3.1. 等式约束
可参见学习笔记|拉格朗日乘子法）
3.2. 不等式约束
可参见学习笔记|线性规划的标准化、学习笔记|KKT条件与拉格朗日乘子法、学习笔记|广义拉格朗日函数与KKT条件的应用等。