[title]拉格朗日乘子法要解决什么问题[/title]
我们以二维空间为例，简单介绍下拉格朗日乘子法解决的问题。
解决的问题：在$h(x)=x_{1}^2+x_{2}^2-2=0$函数的约束下（即上图红色的圆柱）上找到某一点使得f(x)函数（蓝色平面）值取得最小值。我们称h(x)为限制条件。
[title]如何在约束函数的条件下找到极值点（即确定优化的最终点）？[/title]
如何找到梯度向量？
f(x)梯度向量
对$f(x)=x_{1}+x_{2}$，
$\frac{f(x)}{\partial x_{1} } = 1$
$\frac{f(x)}{\partial x_{2} } = 1$
$\nabla _{x}f(x) = \begin{pmatrix}
1\\1
\end{pmatrix}$
h(x)梯度向量
$h(x) = x_{1}^2+x_{2}^2-2$函数是下图的红色圆。
如何一步步的逼近这个极值点？
使用梯度下降法找到梯度向量，简单的来说就是对二元函数h(x)求他的偏导数。得到h(x)的梯度向量。关于梯度下降的算法可以参考：梯度上升法通俗的理解 – 以一个一元二次函数为例