马同学
···
首页
···
专栏
···
课程
解答
···
如何理解拉格朗日乘子法和KKT条件?
之前简单介绍了拉格朗日乘子法的基本思路:
如何理解拉格朗日乘子法?
本文会继续介绍拉格朗日乘子法的细节,以及对其进行适当的推广(也就是所谓的KKT条件)。
1 无约束下的极值
1.1 直观
根据梯度的意义(参看
如何理解梯度
)可知,在函数
的极值点梯度为0:
1.2 代数
要求(
的意思是求极小值):
只需解如下方程:
2 单等式约束下的极值
关于这一节,更详细的请参看:
如何理解拉格朗日乘子法?
2.1 直观
要求方程
与原点的最小距离:
问题被转化为了同心圆与
什么时候相切:
相切就是在极小值点有相同的切线:
只要能通过数学把相切这个条件表示出来,就可以得到解。
我们把同心圆可以看作凸函数
的等高线:
把方程
看作凸函数
的等高线中的一条:
这样