北京大学 AdaMod优化器 孙栩

AdaMod优化器

AdaMod的名称来自Adaptive（自适应）和Momental Bound（矩限制）。

这个也是：

https://github.com/lancopku/Prime/blob/317381b9c233553286aba7094a54537f6096214d/fairseq/optim/adamod.py

https://github.com/dpoulopoulos/cfstep/blob/5bfe7b813c996dee10ea12601d3684e4e0f15282/cfstep/optimizer.py

  

   

    

     

    
    

     

      # Cell
     
    
   

    

     

    
    

     

      import math
     
    
   

    

     

    
    

     

      import torch
     
    
   

    

     

    
    

     

      from torch.optim.optimizer import Optimizer
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      # Cell
     
    
   

    

     

    
    

     

      class AdaMod(Optimizer):
     
    
   

    

     

    
    

     
 """Implements AdaMod algorithm with Decoupled Weight Decay."""
     
    
   

    

     

    
    

     
 def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), beta3=0.999,
     
    
   

    

     

    
    

     
 
     
    
  
 

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/104018552