1. 知识点回顾

在学习笔记|拉格朗日乘子法中，我们讨论了多变量多约束下拉格朗日乘子法的应用，即

假设目标函数为，约束条件为。

引入拉格朗日乘子后可以构建拉格朗日函数

在学习笔记|KKT条件与拉格朗日乘子法中，我们进一步讨论了含有不等式约束情况下，拉格朗日乘子法的应用，即

假设最优化问题为：

首先引入松弛变量，将优化问题转化为

然后引入拉格朗日乘子构建拉格朗日函数

2. 广义拉格朗日函数与KKT条件

从KKT条件来看，在条件中并未得到体现。因此，可以不引入松弛变量，直接定义一个广义拉格朗日函数。

同样假设最优化问题为：

引入拉格朗日乘子，，构造广义拉格朗日函数如下：

KKT条件同样不变

3. KKT条件的意义

学习笔记|KKT条件与拉格朗日乘子法实际上在推导KKT条件的必要性，这里重点证明凸优化条件下，KKT条件的充分性。

令

其中表示下界。

则对原问题的最优点，有

注意，第一个“≤”的成立依赖于，因此，这里它是一个必要条件。

因为原问题是凸问题，所以f(x)，是凸函数，v(λ,μ)和L(x,λ,μ)也是凸函数（凸函数的性质容后再议）。

假设是L(x,λ,μ)的极小值点，那么

因为

所以

即

那么

而根据假设，是原问题的最优点，即，因此

是原问题的最优点。

所以，当原问题是凸优化问题时，KKT条件是求解原问题的充分条件。对于凸优化问题，可以不经过拉格朗日函数的构建，直接列出KKT条件进行求解。

参考文献

1.https://www.cnblogs.com/massquantity/p/10807311.html
2.https://www.jianshu.com/p/19c2ed0259a8
3.https://zhuyulab.blog.csdn.net/article/details/115863150

相关链接：

1. 学习笔记|KKT条件与拉格朗日乘子法
2. 学习笔记|线性规划的标准化
3. 学习笔记|对偶理论入门
4. 学习笔记|拉格朗日乘子法
5. 学习笔记|最大熵模型的理解