牛顿法和梯度下降法都是求解非线性无约束最优化问题的常用方法，但是效果速度比梯度法更好（但是计算量增加了，需要二阶信息）。牛顿法是迭代算法，每一步需要求解目标函数的 Hessian 矩阵的逆矩阵，计算过程复杂。

梯度下降法与牛顿法是求解最小值/优化问题的两种经典算法。本文的目标是介绍两种算法的推导思路与流程，并且从初学者的角度就一些容易混淆的话题如……

众所周知，最小二乘法通过最小化误差平方和获得最佳函数。有时候你可能产生疑问，为什么不能通过其他方式获得最优函数，比如说最小化误差的绝对值的和？本文中，我将会从概率的角度解释最小二乘法的依据（参考自andrew ng 《机器学习课程》 第三讲）。

前面用单纯形法求解问题(2.1)(2.1)时，往往需要引进人工变量，通过解一阶段问题求初始基本可行解。现在利用对偶性质给出一种不需引进人工变量的求解方法，这就是对偶单纯形法。为介绍这种方法的基本思想，先引入对偶可行的基本解的概念。

我们需要指出的是，函数并没有指出在可行域内有最优解。即使有最优解，也未必在可行域内。因此，我们需要明确哪些情况最优解是一定存在的。

对偶问题的表达：（1）对称形式的对偶，（2）非对称形式的对偶，（3）一般情形，对偶问题的对偶是原问题；对偶规划的一般规则（重要）

互补松弛性质：对称形式，非对称形式；强互补松弛定理

由优化理论可知，如果线性规划中的最优解，那么这个最优解必是最优基本可行解。因此线性规划的核心就变成了求最优基本可行解。这构成了单纯形法的基础。

最优极点：线性规划如果存在最优解，那么最优解一定能够在某个极点上达到。下面简要证明：根据表示定理（见附录），任何可行点oldsymbol{x}x可以表示为极点和极方向的组合……