谷歌最新提出无需卷积、注意力 ，纯MLP构成的视觉架构

11年it研发经验，从一个会计转行为算法工程师，学过C#，c++，java，android，php，go，js，python，CNN神经网络，四千多篇博文，三千多篇原创，只为与你分享，共同成长，一起进步，关注我，给你分享更多干货知识!

谷歌最新提出无需卷积、注意力 ，纯MLP构成的视觉架构

论文链接：https://arxiv.org/pdf/2105.01601.pdf

代码链接：https://github.com/google-research/vision_transformer

香港科技大学李铎同学的pytorch版的复现：https://github.com/d-li14/mlp-mixer.pytorch

这是pytorch的代码，加上了测试脚本

model size 70.96 m

  

   

    

     

    
    

     

      import torch
     
    
   

    

     

    
    

     

      import torch.nn as nn
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      class MlpBlock(nn.Module):
     
    
   

    

     

    
    

     
 def __init__(self, hidden_dim, mlp_dim):
     
    
   

    

     

    
    

     

       super(MlpBlock, self).__init__()
     
    
   

    

     

    
    

     

       self.mlp = nn.Sequential(
     
    
   

    

     

    
    

     

       nn.Linear(hidden_dim, mlp_dim),
     
    
   

    

     

    
    

     

       nn.GELU(),
     
    
   

    

     

    
    

     

       nn.Linear(mlp_dim, hidden_dim)
     
    
  
 

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/116465740