本文讨论需要优化的函数都是单峰函数（或单谷函数）。在最优化(optimization)问题中，线搜索(line search)和置信域(trust region)方法是寻找局部最小值(local minimum)基本迭代方法(iterative approach)。

精确一维搜索方法往往需要花费很大的时间，特别当迭代点远离问题的解时，精确求解通常不十分有效。另外，实际上很多最优化方法，如牛顿法和拟牛顿法，其收敛速度并不依赖于精确一维搜索过程。

摘自：https://www.longzf.com/optimization/2/line_search/一维优化技术又称为线性搜索技术。因为一维空间直观的表现就是一条直线，而在这条线上找最优值，就是线性搜索。

Valued-based / policy-based / A3C=A+C;Model based / Model free;回合更新（蒙特卡洛） / 时间差分（步更新）;On-policy / off-policy;稳态和非稳态;全部可观测MDP / 部分可观测

tochastic MAB(stationary random rewards MAB)；non-stochastic MAB(Adversarial Bandits) 对抗性质，有对手会改变每个臂的收益，根据对手是否与玩家独立可分为oblivious和non-oblivious两种

explore and exploit；Delayed reward；Time critical(时间处理实现)；Agent actor稳定提升

本文首先查看了多种梯度下降算法，并总结了数据训练过程中遇到的挑战。接下来，我们介绍了最常用的梯度优化算法，并指出它们做出这些算法优化的缘由。我们还会简要的说明如何在并行与分布式场景下优化梯度下降算法。最后，我们会追加一些优化梯度下降算法的有用策略