图像修复之 coarse-to-fine 网络精进总结

🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

2016 – Context Encoders: Feature Learning by Inpainting

• Context Encoders 论文解析
• 知乎解析
• L2 loss使图片重建相近，adversarial loss使图片清晰；
• encoder和decoder之间使用channel-wise FC层相连(因为修复需要四周的context,而单纯conv只有局部语义)

2017 – Globally and Locally Consistent Image Completion

• 论文解析

Image Inpainting | coarse-to-fine 网络精进总结

由粗到细的两阶段图像修复，有的论文中，可能称之为，渐进式图像修复

---

这一点，仁者见仁，智者见智

2018 – Generative Image Inpainting with Contextual Attention

• 论文翻译

2019 – Free-Form Image Inpainting with Gated Convolution

• 优秀解析–知乎

2019 – PEPSI : Fast Image Inpainting with Parallel Decoding Network

• 论文翻译

1、摘要

       最近，采用具有上下文关注模块（CAM）的由粗到细网络的基于生成对抗网络（GAN）的方法在图像修复中显示出突出的结果。然而，由于该方法的特征编码分为两阶段，需要大量的计算资源。为了解决这一问题，本文提出了一种新的网络结构PEPSI:具有并行解码结构的快速图像修复。PEPSI采用由一个共享编码网络和一个具有粗路径和修复路径的并行解码网络组成的结构，可以减少卷积操作的数量。粗路径产生一个初步的修复结果，利用该结果训练编码网络来预测上下文关注的特征。同时，该修复路径利用CAM重建的精细特征，创造了更高质量的修复结果。与传统的由粗到细的网络相比，PEPSI不仅减少了近一半的卷积运算，而且在测试时间和质量分数方面也优于其他模型。

idea:

1: PEPSI 网络本身结构的改进： 编码器共享、粗路径和精细路径 部分参数共享，联合训练编码器： 使得编码器得到的编码 适用于 粗路径 和 精细路径；
2：CAM(注意力模块中：使用欧氏距离替换 cosine similarity) ：截距设计的 欧氏距离 不仅考虑到 向量夹角，并且考虑到 大小（重要性）
3：Region Ensemble Discriminator(RED-区域组合鉴别器)：can handle the various hole regions that may appear anywhere in images of any sizes.

2020 – Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations

这篇综述，基本涵盖 18、19、20 年经典修复领域论文，大家可简单参考

Image inpainting based on deep learning - A review【图像修复 2021 最新综述】

📙 博主 AI 领域八大干货专栏、诚不我欺

• 🍊 计算机视觉： Yolo专栏、一文读懂
• 🍊 计算机视觉：图像风格转换–论文–代码测试
• 🍊 计算机视觉：图像修复-代码环境搭建-知识总结
• 🍊 计算机视觉：超分重建-代码环境搭建-知识总结
• 🍊 深度学习：环境搭建，一文读懂
• 🍊 深度学习：趣学深度学习
• 🍊 落地部署应用：模型部署之转换-加速-封装
• 🍊 CV 和 语音数据集：数据集整理

📙 预祝各位 前途似锦、可摘星辰

🎉 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

❤️ 过去的一年、大家都经历了太多太多、祝你披荆斩棘、未来可期

• 📆 最近更新：2022年1月23日

• 🍊 点赞 👍 收藏 ⭐留言 📝 都是博主坚持写作、更新高质量博文的最大动力！

• 🍊 当前博主的主要创作领域如下、全网统一ID: 墨理学AI