积累在编程过程中遇到的神奇bug，不积跬步无以至千里，不积小流无以成江海。

回归分析是一种预测模型来研究因变量和自变量（们）之间的关系。例如，研究开快车和路上交通事故直接的关系。回归分析也是一种重要的数据建模与分析工具。我们想找到一条曲线/直线，尽可能的通过各个点，使线和点之间的总误差尽可能小。

拟凸函数：我也有全局最小值呦~~

拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是求解有约束优化问题非常重要的两个求取方法。对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。

牛顿法和梯度下降法都是求解非线性无约束最优化问题的常用方法，但是效果速度比梯度法更好（但是计算量增加了，需要二阶信息）。牛顿法是迭代算法，每一步需要求解目标函数的 Hessian 矩阵的逆矩阵，计算过程复杂。

梯度下降法与牛顿法是求解最小值/优化问题的两种经典算法。本文的目标是介绍两种算法的推导思路与流程，并且从初学者的角度就一些容易混淆的话题如……

众所周知，最小二乘法通过最小化误差平方和获得最佳函数。有时候你可能产生疑问，为什么不能通过其他方式获得最优函数，比如说最小化误差的绝对值的和？本文中，我将会从概率的角度解释最小二乘法的依据（参考自andrew ng 《机器学习课程》 第三讲）。

前面用单纯形法求解问题(2.1)(2.1)时，往往需要引进人工变量，通过解一阶段问题求初始基本可行解。现在利用对偶性质给出一种不需引进人工变量的求解方法，这就是对偶单纯形法。为介绍这种方法的基本思想，先引入对偶可行的基本解的概念。