欢迎浏览我公司网站！！
行业资讯
以optim.SGD为例介绍pytorch优化器_2
时间: 2024-05-20浏览次数：
在神经网络优化器中，主要为了优化我们的神经网络，使神经网络在我们的训练过程中快起来，节省时间。在pytorch中提供了torch.optim方法优化我们的神经网络，torch.optim是实现各种优化算法的包。最常用的方法都已经支持，接口很常规，所以以后也可以很容易地集
在神经网络优化器中，主要为了优化我们的神经网络，使神经网络在我们的训练过程中快起来，节省时间。在pytorch中提供了 torch.optim方法优化我们的神经网络，torch.optim 是实现各种优化算法的包。最常用的方法都已经支持，接口很常规，所以以后也可以很容易地集成更复杂的方法。
如何使用optimizer
要使用torch.optim，你必须构造一个optimizer对象，这个对象能保存当前的参数状态并且基于计算梯度进行更新。
构建一个优化器
要构造一个优化器，你必须给他一个包含参数（必须都是variable对象）进行优化，然后可以指定optimizer的参数选项，比如学习率，权重衰减。具体参考torch.optim文档。
model.parameters()是获取model网络的参数，构建好神经网络后，网络的参数都保存在parameters()函数当中。
参数
首先sgd的参数有三个，1）opfunc；2）x；3）config；4）state
learning rate
weight decay
learning rate decay
momentum
在普通的情况下x的更新 在加上冲量后就是在普通的情况下加上上次更新的x的与mom[0,1]的乘积
