机器学习-支持向量机（SVM）

多元函数的极值

定义
设函数，点
如果存在某个,使得对所有满足 且的点都有：

那么点就是在内的极大值点，反之则是极小值点。

二元函数的极值

为了方便说明这里用二元函数而作为例子，我们对二元函数的极值做单独的定义如下。
设函数在点的某一个邻域内有定义，对于该邻域内异于点的零一点，如果恒有：

则点为该邻域内的极大值点，反之则为极小值点。
定理1
若函数在点具有偏导数，且在点具有极值，则它在该点的偏导数必为0，即：

这个点是函数的驻点，根据定理1，具有偏导数的函数的极值点必为驻点，但是驻点不一定是极值点。

条件极值与拉格朗日乘数法

函数的自变量落在定义域内，并无其他限制条件，这一内函数求极值被称为无条件极值，如果有其他的附加限制条件则被称为有条件极值。求条件极值的一种方法就是拉格朗日乘数法。
设二元函数和在区域内有连续偏导数，则求在内满足的极值，可以转化为拉格朗日函数

设点是函数在条件下的极值点，即是函数的极值点且
设函数和 在点处有连续的偏导数且（这个是将隐函数改写成的必要条件），此时就可以设，即是关于的函数，将其带入到中则有
，如此便将二元函数转换成了一元函数，将二元函数求极值的问题转换成了一元函数求极值，一元函数求极值的必要条件是其一阶导数等于零，故这里将对求导

这里因为那么就涉及到了符合函数的求导，利用复合函数的求导法则即链式法则对进行处理，即先对求导再乘以对的导数
因为点是的极值点，所有

隐函数求导的时候对等式两边分别求导
这里对进行求导

即所以有

即

带入（1）有

即此时在条件下的极值存在需要满足的必要条件为

令有

等式（2）前面就是拉格朗日函数了，被称为拉格朗日乘子，
在上面的方程组中，存在三个未知数需要求解，只有两个方程很明显是解不出来的，所以还需要想办法寻找第三个方程解方程组。
对（3）两边同时乘以得到

即

因有（2）所以有
故有

即

成立，故有方程组

这里看似是三个方程其实还是两个方程，因为第二个方程是通过第一个方程推出来的，那么为什么需要这两个方程呢，还记得之前的假设么，
因为有这个假设才能定义，不然分母就为了，那么当真的为的时候呢，这时候就需要第二个方程了。
前面的推导中我们有 此时要求不为。那么这个方程组就不依赖于 或 了

所以得到结论，对于有条件极值函数的极值的拉格朗日乘数法基本步骤为：
构造拉格朗日函数：

得到方程组

这样求得的点是满足条件约束极值点求解的必要条件的但不够充分，解出的该点的充分性需要具体分析了。

矩阵分析中的拉格朗日乘子