1.SGD:随机梯度下降
2.RMSprop:训练RNN是不错的选择
3.Adagrad:具有特定参数学习率的优化器。根据参数在训练期间的更新频率进行自适应调整。参数接受的更新越多,更新越小
4.Adadelta:Adagrad的更稳定的扩展版本。根据渐变更新的自动窗口调整学习速率
5.Adam:本质上是RMSProp与动量momentum的结合
6.Nadam:采用Nesterov momentum版本的Adam优化器
Copyright © 2002-2022 盛煌-盛煌娱乐-盛煌全球注册认证站 版权所有