Swish激活

https://segmentfault.com/a/1190000012531507

在我的 Geforce 940mx 上面，ReLU 激活函数比 Swish 激活函数快 10 秒左右。我知道可能 Swish 激活函数在计算 sigmoid 函数的时候比 ReLU 多浪费了 10 秒。

      class Swish(nn.Module):
      def forward(self, x):
      return x * torch.sigmoid(x)
  
 

SiLU激活函数和Swish激活函数一样

      class SiLU(nn.Module):  # export-friendly version of nn.SiLU()
       @staticmethod
      def forward(x):
      return x * torch.sigmoid(x)
  
 

Swish比relu6内存占用大1倍左右。

  self.relu = nn.ReLU6(True)
        # self.relu = Swish()

文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/jacke121/article/details/105582377