sam优化器学习笔记

参考：

为什么SAM可以实现更好的泛化？如何在Pytorch中实现SAM？-电子发烧友网

导读 使用SAM（锐度感知最小化），优化到损失的最平坦的最小值的地方，增强泛化能力。

动机来自先前的工作，在此基础上，我们提出了一种新的、有效的方法来同时减小损失值和损失的锐度。具体来说，在我们的处理过程中，进行锐度感知最小化（SAM），在领域内寻找具有均匀的低损失值的参数。这个公式产生了一个最小-最大优化问题，在这个问题上梯度下降可以有效地执行。我们提出的实证结果表明，SAM在各种基准数据集上都改善了的模型泛化。

在深度学习中，我们使用SGD/Adam等优化算法在我们的模型中实现收敛，从而找到全局最小值，即训练数据集中损失较低的点。但等几种研究表明，许多网络可以很容易地记住训练数据并有能力随时overfit，为了防止这个问题，增强泛化能力，谷歌研究人员发表了一篇新论文叫做Sharpness Awareness Minimization，在CIFAR10上以及其他的数据集上达到了最先进的结果。

在本文中，我们将看看为什么SAM可以实现更好的泛化，以及我们如何在Pytorch中实现SAM。

SAM的原理是什么？

在梯度下降或任何其他优化算法中，我们的目标是找到一个具有低损失值的参数。但是，与其他常规的优化方法相比，SAM实现了更好的泛化，它将重点放在领域内寻找具有均匀的低损失值的参数（而不是只有参数本身具有低损失值）上。

由于计算邻域参数而不是计算单个参数，损失超平面比其他优化方法更平坦，这反过来增强了模型的泛化。

（左））用SGD训练的ResNet收敛到的一个尖锐的最小值。（右）用SAM训练的相同的ResNet收敛到的一个平坦的最小值。

注意：SAM不是一个新的优化器，它与其他常见的优化器一起使用，比如SGD/Adam。

在Pytorch中实现SAM

在Pytorch中实现SAM非常简单和直接

import torch

class SAM（torch.optim.Optimizer）：

def __init__（self， params， base_optimizer， rho=0.05， **kwargs）：

assert rho 》= 0.0， f“Invalid rho， should be non-negative： {rho}”

defaults = dict（rho=rho， **kwargs）

super（SAM， self）.__init__（params， defaults）

self.base_optimizer = base_optimizer（self.param_groups， **kwargs）

self.param_groups = self.base_optimizer.param_groups

@torch.no_grad（）

def first_step（self， zero_grad=False）：

grad_norm = self._grad_norm（）

for group in self.param_groups：

scale = group［“rho”］ / （grad_norm + 1e-12）

for p in group［“params”］：

if p.grad is None： continue

e_w = p.grad * scale.to（p）

p.add_（e_w） # climb to the local maximum “w + e（w）”

self.state［p］［“e_w”］ = e_w

if zero_grad： self.zero_grad（）

@torch.no_grad（）

def second_step（self， zero_grad=False）：

for group in self.param_groups：

for p in group［“params”］：

if p.grad is None： continue

p.sub_（self.state［p］［“e_w”］） # get back to “w” from “w + e（w）”

self.base_optimizer.step（） # do the actual “sharpness-aware” update

if zero_grad： self.zero_grad（）

def _grad_norm（self）：

shared_device = self.param_groups［0］［“params”］［0］.device # put everything on the same device， in case of model parallelism

norm = torch.norm（

torch.stack（［

p.grad.norm（p=2）.to（shared_device）

for group in self.param_groups for p in group［“params”］

if p.grad is not None

］），

p=2

）

return norm

代码取自非官方的Pytorch实现。

代码解释：

首先，我们从Pytorch继承优化器类来创建一个优化器，尽管SAM不是一个新的优化器，而是在需要继承该类的每一步更新梯度（在基础优化器的帮助下）。

该类接受模型参数、基本优化器和rho， rho是计算最大损失的邻域大小。

在进行下一步之前，让我们先看看文中提到的伪代码，它将帮助我们在没有数学的情况下理解上述代码。

正如我们在计算第一次反向传递后的伪代码中看到的，我们计算epsilon并将其添加到参数中，这些步骤是在上述python代码的方法first_step中实现的。

现在在计算了第一步之后，我们必须回到之前的权重来计算基础优化器的实际步骤，这些步骤在函数second_step中实现。

函数_grad_norm用于返回矩阵向量的norm，即伪代码的第10行

在构建这个类后，你可以简单地使用它为你的深度学习项目通过以下的训练函数片段。

from sam import SAM

。。.

model = YourModel（）

base_optimizer = torch.optim.SGD # define an optimizer for the “sharpness-aware” update

optimizer = SAM（model.parameters（）， base_optimizer， lr=0.1， momentum=0.9）

。。.

for input， output in data：

# first forward-backward pass

loss = loss_function（output， model（input）） # use this loss for any training statistics

loss.backward（）

optimizer.first_step（zero_grad=True）

# second forward-backward pass

loss_function（output， model（input））.backward（） # make sure to do a full forward pass

optimizer.second_step（zero_grad=True）

。。.

总结

虽然SAM的泛化效果较好，但是这种方法的主要缺点是，由于前后两次计算锐度感知梯度，需要花费两倍的训练时间。除此之外，SAM还在最近发布的NFNETS上证明了它的效果，这是ImageNet目前的最高水平，在未来，我们可以期待越来越多的论文利用这一技术来实现更好的泛化。

英文原文：https://pub.towardsai.net/we-dont-need-to-worry-about-overfitting-anymore-9fb31a154c81

文章来源: blog.csdn.net，作者：AI视觉网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/124663526