Prior Guided GAN Based Semantic Inpainting——粗略简记

🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

Prior Guided GAN Based Semantic Inpainting

• https://openaccess.thecvf.com/content_CVPR_2020/papers/Lahiri_Prior_Guided_GAN_Based_Semantic_Inpainting_CVPR_2020_paper.pdf

Abstract

  当代基于深度学习的语义修复可以从两个方向进行。 首先，也是经过更深入探索的方法是，通过对抗性训练进行额外的细化，从而在蒙版像素上训练离线深度回归网络。 这种方法需要进行一次前馈传递，以进行推断修复。另一种很有前途但尚未探索的方法是首先训练一个生成模型，将潜在的先验分布映射到各种自然图像，然后在推理过程中搜索“最佳匹配”以重建信号。

  对后一种类型的主要限制是由于其推理时间迭代优化和难以扩展到更高的分辨率。 在本文中，与大趋势相反，我们将重点放在修复的第二种范式上，并解决其提到的两个问题。 最重要的是，我们学习了数据驱动的参数网络，可以直接预测给定 mask 图像的匹配先验。
这将迭代范式转换为具有约800倍加速比的单个前馈推理管道。 我们还使用结构先验（根据蒙版图像本身计算）来规范化我们的网络，这有助于更好地保留待修复对象的姿势和大小。 此外，为了扩展我们的序列重建模型，我们提出了一种基于递归网络的分组潜伏先验学习。

模型网络主体结构：

7. Discussion and Conclusion

  在本文中，我们重新审视了用于迭代的迭代推理框架，目的是加快推理时间。 为此，我们显示了数据驱动的噪声先验学习的重要性，与基线[45]相比，它可以使速度提高约800倍，同时又可以改善重建效果。 我们还扩展了视频修复模型，并引入了结构先验和LSTM驱动的分组先验学习概念，以显着改善时间动态。 我们还展示了与最新基准相比在图像修复和视频重建方面的最新性能。本文提出了一个新的维度（视角），将修复理解为寻找“最佳匹配”的潜在先验，而不是当前由编解码器驱动的“图像精化”方法。

  我们承认目前我们的模型不适用于自然视频或室外场景的修复。 这通常不是我们框架的缺点，而是当前GAN框架无法合成自然场景的体现。 但是，随着PGGAN和BigGAN的发布，社区对于使用GAN生成复杂场景非常乐观。 因此，我们的框架经过高度模块化，可以接受任何新的GAN模型并从其生成能力中受益。 我们将其留作未来的探索工作。

📙 博主 AI 领域八大干货专栏、诚不我欺

• 🍊 计算机视觉： Yolo专栏、一文读懂
• 🍊 计算机视觉：图像风格转换–论文–代码测试
• 🍊 计算机视觉：图像修复-代码环境搭建-知识总结
• 🍊 计算机视觉：超分重建-代码环境搭建-知识总结
• 🍊 深度学习：环境搭建，一文读懂
• 🍊 深度学习：趣学深度学习
• 🍊 落地部署应用：模型部署之转换-加速-封装
• 🍊 CV 和 语音数据集：数据集整理

📙 预祝各位 前途似锦、可摘星辰

🎉 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

❤️ 过去的一年、大家都经历了太多太多、祝你披荆斩棘、未来可期

• 📆 最近更新：2022年2月24日

• 🍊 点赞 👍 收藏 ⭐留言 📝 都是博主坚持写作、更新高质量博文的最大动力！

• 🍊 当前博主的主要创作领域如下、全网统一ID: 墨理学AI