mxnet各种归一化：batch norm, l2 norm和mxnet.nd.L2Normalization

mx.nd.BatchNorm 类似于在一个batch里面对样本减均值、除方差。
mx.nd.L2Normalization 对向量进行归一化：每一行向量中的每个元素除以向量的模长。变成长度为1、带有方向的单位向量。
mx.nd.norm 用于沿指定axis求范数，默认求整个矩阵的L2范数，变成一个值（标量）。（L2范数）对应欧式距离。
nd.L2Normalization(a,mode=‘instance’)

  

   

    

     

    
    

     

      # nd.L2Normalization(a,mode='instance') 是对每个样本（向量，每一行）分别进行L2归一化,就是每一行向量中的每个元素除以向量的模长
     
    
   

    

     

    
    

     

      a
     
    
   

    

     

    
    

     

      Out[20]: 
     
    
   

    

     

    
    

     

      [[1. 2.]
     
    
   

    

     

    
    

     

       [3. 4.]]
     
    
   

    

     

    
    

     

      <NDArray 2x2 @cpu(0)>
     
    
   

    

     

    
    

     

      nd.L2Normalization(a,mode='instance')
     
    
   

    

     

    
    

     

      Out[21]: 
     
    
   

    

     

    
    

     

      [[0.4472136 0.8944272]
     
    
   

    

     

    
    

     

       [0.6       0.8      ]]
     
    
   

    

     

    
    

     

      <NDArray 2x2 @cpu(0)>
     
    
   

    

     

    
    

     

      # 对于地一个样本：[1,2]，就相当于
     
    
   

    

     

    
    

     

      1/np.sqrt(1*1+2*2)
     
    
   

    

     

    
    

     

      Out[22]: 0.4472135954999579
     
    
   

    

     

    
    

     

      2/np.sqrt(1*1+2*2)
     
    
   

    

     

    
    

     

      Out[23]: 0.8944271909999159
     
    
   

    

     

    
    

     

      # 第二个样本依次类推
     
    
  
 

求两个向量差的L2范数，也就是求欧氏距离：

The input F is an mxnet.ndarry or an mxnet.symbol if we hybridize the network. Gluon’s Loss base class is in fact a HybridBlock. This means we can either run imperatively or symbolically. When we hybridize our custom loss function, we can get performance speedups.

F就当作是mxnet.nd吧，当然也可以是symbol，这就是hybridize的奥义？？

margin=6
distances_squared = F.sum(F.square(distances), 1, keepdims=True)
euclidean_distances = F.sqrt(distances_squared + 0.0001)
d = F.clip(margin - euclidean_distances, 0, margin)
 

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/116739248