CV之NS之LF：图像风格迁移中常用的几种损失函数(内容损失、风格损失)简介、使用方法之详细攻略

目录

图像风格迁移中常用的几种损失函数

1、内容损失

2、风格损失

3、定义总损失

图像风格迁移中常用的几种损失函数

1、内容损失

  

   

    

     

    
    

     

      # endpoints_dict是上一节提到的损失网络各层的计算结果；content_layers是定义使用哪些层的差距计算损失，默认配置是conv3_3
     
    
   

    

     

    
    

     

      def content_loss(endpoints_dict, content_layers):
     
    
   

    

     

    
    

     

       content_loss = 0
     
    
   

    

     

    
    

     
 for layer in content_layers:
     
    
   

    

     

    
    

     
 #上一节中把生成的图像、原始图像同时传入损失网络中计算。所以这里先把他们区分开
     
    
   

    

     

    
    

     
 #我们可以参照函数tf.concat与tf.split的文档理解此处的内容
     
    
   

    

     

    
    

     

       generated_images, content_images = tf.split(endpoints_dict[layer], 2, 0)
     
    
   

    

     

    
    

     

       size = tf.size(generated_images)
     
    
   

    

     

    
    

     
 # 所谓的内容损失，是生成图片generated_images与原始图片激活content_images的L*L距离
     
    
   

    

     

    
    

     

       content_loss += tf.nn.l2_loss(generated_images - content_images) * 2 / tf.to_float(size)  # remain the same as in the paper
     
    
   

    

     

    
    

     
 return content_loss
     
    
  
 

2、风格损失

  

   

    

     

    
    

     

      # 定义风格损失，style_layers为定义使用哪些层计算风格损失。默认为conv1_2、conv2_2、conv3_3、conv4_3
     
    
   

    

     

    
    

     

      # style_features_t是利用原始的风格图片计算的层的激活。如在wave模型中是img/wave.jpg计算的激活
     
    
   

    

     

    
    

     

      def style_loss(endpoints_dict, style_features_t, style_layers):
     
    
   

    

     

    
    

     

       style_loss = 0
     
    
   

    

     

    
    

     
 # summary是为TensorBoard服务的
     
    
   

    

     

    
    

     

       style_loss_summary = {}
     
    
   

    

     

    
    

     
 for style_gram, layer in zip(style_features_t, style_layers):
     
    
   

    

     

    
    

     
 # 计算风格损失，只需要计算生成图片generated_imgs与目标风格style_features_t的差距。因此不需要取出content_images
     
    
   

    

     

    
    

     

       generated_images, _ = tf.split(endpoints_dict[layer], 2, 0)
     
    
   

    

     

    
    

     

       size = tf.size(generated_images)
     
    
   

    

     

    
    

     
 # 调用gram函数计算Gram矩阵。风格损失定义为生成图片与目标风格Gram矩阵的L*L的Loss
     
    
   

    

     

    
    

     

       layer_style_loss = tf.nn.l2_loss(gram(generated_images) - style_gram) * 2 / tf.to_float(size)
     
    
   

    

     

    
    

     

       style_loss_summary[layer] = layer_style_loss
     
    
   

    

     

    
    

     

       style_loss += layer_style_loss
     
    
   

    

     

    
    

     
 return style_loss, style_loss_summary
     
    
  
 

3、定义总损失

  

   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
 """Build Losses"""
     
    
   

    

     

    
    

     
 # 定义内容损失
     
    
   

    

     

    
    

     

       content_loss = losses.content_loss(endpoints_dict, FLAGS.content_layers)
     
    
   

    

     

    
    

     
 # 定义风格损失
     
    
   

    

     

    
    

     

       style_loss, style_loss_summary = losses.style_loss(endpoints_dict, style_features_t, FLAGS.style_layers)
     
    
   

    

     

    
    

     
 # 定义tv损失，该损失在实际训练中并没有被用到，因为在训练时都采用tv_weight=0
     
    
   

    

     

    
    

     

       tv_loss = losses.total_variation_loss(generated)  # use the unprocessed image
     
    
   

    

     

    
    

     
 # 总损失是这些损失的加权和，最后利用总损失优化图像生成网络即可
     
    
   

    

     

    
    

     

       loss = FLAGS.style_weight * style_loss + FLAGS.content_weight * content_loss + FLAGS.tv_weight * tv_loss
     
    
  
 

文章来源: yunyaniu.blog.csdn.net，作者：一个处女座的程序猿，版权归原作者所有，如需转载，请联系作者。

原文链接：yunyaniu.blog.csdn.net/article/details/82941252