梯度下降法与牛顿法的比较

参考知乎：https://www.zhihu.com/question/19723347

这篇博文讲牛顿法讲的非常好：http://blog.csdn.net/itplus/article/details/21896453

                              梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向，只考虑目标函数

                       在迭代点的局部性质；牛顿法同时考虑了目标函数的一、二阶偏导数，考虑了梯度变化

                      趋势，因而能更合适的确定搜索方向加快收敛，但牛顿法也存在以下缺点：

                             1、对目标函数有严格要求，必须有连续的一、二阶偏导数，海森矩阵必须正定；

                             2、计算量大，除梯度外，还需计算二阶偏导矩阵及其逆矩阵。

拟牛顿法：http://blog.csdn.net/itplus/article/details/21896619