人工智能-损失函数-优化算法：梯度下降【SGD--＞SGDM(梯度动量)--＞AdaGrad(动态学习率)--＞RMSProp(动态学习率)--＞Adam(动态学习率+梯度动量)】、梯度下降优化技巧

人工智能-损失函数：梯度下降算法【SGD--＞SGDM（梯度动量）--＞AdaGrad（动态学习率）--＞RMSProp（动态学习率）--＞Adam（动态学习率+梯度动量）】、梯度下降优化技巧

• 一、梯度下降算法
• • 1、BGD（Batch Gradient Descent，批量梯度下降法）
  • 2、SGD（Stochastic Gradient Descent,随机梯度下降）
  • 3、MBGD（Mini-Batch Gradient Descent，小批量梯度下降法）
  • 3、SGDM (SGD with Momentum,带动量的随机梯度下降)
  • 4、AdaGrad(自适应梯度下降)算法【二阶泰勒展开（牛顿法）】
  • • Adagrad 里的问题
    • 4.1 直观解释
    • 4.2 正式的解释：二阶泰勒展开（牛顿法）