EvoNorms

evolving normalization activation layers

本篇文章则通过将正则化层和激活层公式化为一个单独的构建模块，来研究他们的协同设计

同时，本文还进行了具有超大batch规格的学习动态过程的可视化。在训练设置相同的情况下，相比BN-RELU和ResNet-50，虽然训练损失较大，但是，EvoNorm-B0展现了更好的泛化性能。在其他所有的情况下，EvoNorm同时实现了优化性能和泛化性能的提升。

代码：

https://github.com/lonePatient/EvoNorms_PyTorch/blob/master/models/normalization.py

  

   

    

     

    
    

     

      import torch
     
    
   

    

     

    
    

     

      import torch.nn as nn
     
    
   

    

     

    
    

     

      from torch.nn import init
     
    
   

    

     

    
    

     

      from torch.nn.parameter import Parameter
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def instance_std(x, eps=1e-5):
     
    
   

    

     

    
    

     

       N,C,H,W = x.size()
     
    
   

    

     

    
    

     

       x1 = x.reshape(N*C,-1)
     
    
   

    

     

    
    

     

       var = x1.var(dim=-1, keepdim=True)+eps
     
    
   

    

     

    
    

     
 return var.sqrt().reshape(N,C,1,1)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def group_std(x, groups, eps = 1e-5):
     
    
   

    

     

    
    

     

       N, C, H, W = x.size()
     
    
   

    

     

    
    

     

       x1 = x.reshape(N,groups,-1)
     
    
   

    

     

    
    

     

       var = (x1.var(dim=-1, k
     
    
  
 

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/105925923