两阶段渐进式图像修复效果测评【CVPR 2021】

🥇 版权: 本文由【墨理学AI】原创、各位大佬、一文读懂、敬请查阅

🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

🍖 该博文旨在大话图像修复，仅对该论文工作展开简单引入

📔 基础信息

• Image Inpainting with External-internal Learning and Monochromic Bottleneck
• 具有外内学习和单色瓶颈的图像修复
• https://github.com/Tengfei-Wang/external-internal-inpainting
• https://arxiv.org/abs/2104.09068

摘要翻译

尽管最近的修复方法已经证明了深度神经网络的显着改进，但在填充缺失区域时，它们仍然存在诸如钝结构和突然颜色之类的伪影。 为了解决这些问题，我们提出了一种具有单色瓶颈的外部内部修复方案，可帮助图像修复模型消除这些伪影。 在外部学习阶段，我们重建单色空间中缺失的结构和细节以减少学习维度。 在内部学习阶段，我们提出了一种新颖的内部颜色传播方法，采用渐进式学习策略来恢复一致的颜色。 大量实验表明，我们提出的方案有助于图像修复模型产生更多结构保留和视觉上引人注目的结果。

主要贡献可以总结为：

• 据我们所知，我们是第一个将外部-内部学习方法引入深度图像修复的公司。它通过对大型数据集的训练从外部学习语义知识，同时充分利用单个测试图像的内部统计数据。
• 我们设计了一个渐进式内部图像着色网络，在我们的案例中实现了出色的着色性能。
• 我们将我们提出的方法推广到几个深度修复模型，并观察到在多个数据集上的视觉质量和模型泛化能力方面的明显改进。

5. Conclusion

在本文中，我们提出了一种具有单色瓶颈的通用外部-内部学习修复方案。

它首先利用从大型数据集外部学习的语义知识重建单色，然后从单个测试图像内部恢复颜色。 与以前的方法相比，我们的方法可以产生更连贯的结构和视觉上更协调的颜色。

大量实验表明，我们的方法可以在几个主干模型上定性和定量地稳定改进。 我们方法的主要限制是推理速度。 由于着色需要额外的阶段，因此我们的方法比最先进的方法慢。

未来，我们计划进一步加速着色过程，并将提议的方案扩展到其他低级视觉任务，如超分辨率。

📕 环境搭建

依赖库很简洁

• Python 3.6
• Pytorch 1.6
• Numpy

pytorch 安装 建议参考 – Linux下cuda10.0 安装 Pytorch和Torchvision|简记

conda create -n torch16 python=3.6.6

conda activate torch16

# CUDA 10.1
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch

pip install pillow==5.2.0

pip install opencv-python

pip install scikit-image

pip install scipy

pip install thop

📗 源码测试

当前，该代码十分简洁，参照 官方 readMe 直接运行即可

🔵 第一阶段：Colorization

git clone https://github.com/Tengfei-Wang/external-internal-inpainting.git

cd external-internal-inpainting

conda activate torch16

Colorization 【着色方法测试命令】

python main.py  --img_path images/input2.png --gray_path images/gray2.png  --mask_path images/mask2.png  --pyramid_height 3

输出如下

starting colorization. Scale 0
starting colorization. Scale 1
starting colorization. Scale 2

最佳效果如下

该阶段源码分析如下

🔵 第二阶段：Reconstruction

盲猜：这里的意思是，着色修复后的图像，替换其它 backbones【修复网络】的输入，能够取得更佳修复效果；官方暂未做进一步衔接说明，这里也就暂不具体展开测试了；

---

点滴拙见，望大佬指点

📘 该论文效果图

对图像修复详细分类有兴趣，可简单参考如下博文

---

Image inpainting based on deep learning - A review【图像修复 2021 最新综述】

🔴 目标移除

🔵 不规则 Mask 修复

这里莫名，提到了 交叉数据集评估 ？？？

---

直接理解：在 Places2 上训练得到的模型，在 DTD 数据集 上测试应用效果

🔴 用户指导修复

📙 博主 AI 领域八大干货专栏、诚不我欺

• 🍊 计算机视觉： Yolo专栏、一文读懂
• 🍊 计算机视觉：图像风格转换–论文–代码测试
• 🍊 计算机视觉：图像修复-代码环境搭建-知识总结
• 🍊 计算机视觉：超分重建-代码环境搭建-知识总结
• 🍊 深度学习：环境搭建，一文读懂
• 🍊 深度学习：趣学深度学习
• 🍊 落地部署应用：模型部署之转换-加速-封装
• 🍊 CV 和 语音数据集：数据集整理

📙 预祝各位 2022 前途似锦、可摘星辰

🎉 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

❤️ 如果文章对你有帮助、点赞、评论鼓励博主的每一分认真创作