pytorch 指定层学习率

  

   

    

     

    
    

     

      model = Net()
     
    
   

    

     

    
    

     

      conv_params = list(map(id,model.conv1.parameters()))   #提出前两个卷积层存放参数的地址
     
    
   

    

     

    
    

     

      conv_params += list(map(id,model.conv2.parameters()))
     
    
   

    

     

    
    

     

      prelu_params = []
     
    
   

    

     

    
    

     

      for m in model.modules(): #找到Prelu的参数
     
    
   

    

     

    
    

     
 if isinstance(m, nn.PReLU):
     
    
   

    

     

    
    

     

       prelu_params += m.parameters()
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      #假象网络比我写的很大，还有一部分参数，这部分参数使用另一个学习率
     
    
   

    

     

    
    

     

      rest_params = filter(lambda x:id(x) not in conv_params+list(map(id,prelu_params)),model.parameters())  #提出剩下的参数
     
    
   

    

     

    
    

     

      print(list(rest_params))
     
    
   

    

     

    
    

     

      '''
     
    
   

    

     

    
    

     

      >> [] #是空的，因为我举的例子没其他参数了
     
    
   

    

     

    
    

     

      '''
     
    
   

    

     

    
    

     

      import torch.optim as optim
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      optimizer = optim.Adam([{'params':model.conv1.parameters(),'lr':0.2},
     
    
   

    

     

    
    

     

       {'params':model.conv2.parameters(),'lr':0.2},
     
    
   

    

     

    
    

     

       {'params':prelu_params,'lr':0.02},
     
    
   

    

     

    
    

     

       {'params':rest_params,'lr':0.3}
     
    
   

    

     

    
    

     

       ])
     
    
  
 

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/103943822