Pytorch——可视化不同的优化器效果

使用简单功能可视化梯度优化器 目的 梯度下降是我们用于机器学习的优化的基本原理之一。 但是，希望了解更多有关该领域的初学者会遇到通用图或仅与抽象意义相关的等高线图。 像这样的图形可以初步了解什么是梯度下降及其作用，但是比有趣的图片还缺乏深度。 大多数机器学习模型的高维性使得初学者很难形象化。 本笔记本的目的是提供一个更具体的示例，以使人们对梯度优化器的工作方式以及每个行为都具有更强的直觉。 希望用户可以从此笔记本中获得更多的见解。 使用笔记本 运行整个笔记本会生成上面GIF中显示的图，用户可以与之交互以更改迭代步骤的数量，可以使用优化程序进行切换并更改3D图形上的角度。 笔记本中包含从带有噪声的线性函数生成的数据。 优化的目标是最小化与从两个可训练参数（斜率和截距）绘制的回归线相关的均方误差。 已实施并测试了梯度下降，SGD，Minibatch GD，动量，RMSProp和Adam。 成