梯度算法大合集——程序实现7种常用的梯度优化算法、5种线搜索方法，并与Pytorch的torch.optim对比结果
梯度下降法是最著名的优化算法之一，本文基于Python和Pytorch编写了梯度优化程序Gradient_optim，并将结果与Pytorch中自带的梯度优化器torch.optim对比。 1.程序适用于任意维解析函数的无约束优化问题，求解最小值及最小值点； 2.可实现的梯度法：最陡下降法、共轭梯度法、牛顿法、拟牛顿法等； 3.可选择的一维线搜索法：黄金分割法、Armijo准则、强Wolfe条件等； 4.动态减小回溯系数/步长最大值/学习率。
文件大小：22.59KB
评论区