高分辨率图像修复

🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling

论文

该论文主页

按照论文所述：

we collect a large object mask dataset ：realistic hole dataset

一个真实 mask 数据集

后续再探索…

api 效果测试:

http://47.57.135.203:2333/

论文部分摘要翻译（有道词典）

Abstract

在实际应用中，现有的图像修复方法在处理大洞时会产生伪影。为了解决这一问题，我们提出了一种带有反馈机制的迭代修复方法。具体来说，我们引入了一种深度生成模型，该模型不仅可以输出修复结果，还可以输出相应的置信图。
使用这个地图作为反馈，它通过在每次迭代中只信任洞内的高可信度像素，并在下一次迭代中关注剩余的像素来逐步填充洞。由于它重用以前迭代的部分预测作为已知的像素，这一过程逐渐改善了结果。
此外，我们提出了一个引导上采样网络，以生成高分辨率的修复结果。我们通过扩展上下文注意模块[39]来借用输入图像中的高分辨率特征补丁来实现这一点。此外，为了模拟真实的物体移除场景，我们收集了一个大的物体掩模数据集，并合成更真实的训练数据，更好地模拟用户输入。
实验表明，该方法在定量和定性评价方面都明显优于现有的方法。

1 Introduction

图像修复是一项重建图像中缺失区域的工作。它是计算机视觉中的一个重要问题，也是许多成像和图形应用的基本功能，如对象移除、图像恢复、操作、重定向、合成和基于图像的渲染[9,26,33]

经典的修复方法，如[17,25,9]，通常依赖于从已知区域或外部数据库图像中借用样本补丁并将其粘贴到洞中。这些方法对于具有小孔或均匀纹理背景的简单情况是非常有效的。它们还可以高效地处理高分辨率图像。然而，由于缺乏高层次的结构理解和生成新颖内容的能力，在漏洞较大时往往无法产生现实的结果。

…
…
…

在数据方面，以前的方法是通过合成正方形[34,22,39]或不规则孔[29,40]来构造训练数据。然而，在实际应用中去除不需要的物体或场景片段时，填洞区域更有可能是物体形状的。为了模拟真实的用例，我们收集了大量带有物体形状孔的图像。我们将数据合成为包括以下两种常见情况:1)孔洞重叠前景对象，以模拟分散前景的对象遮挡前景;2)孔洞只出现在背景中，以模拟不需要的对象被突出前景对象遮挡的情况。

论文主要贡献如下：

• 我们提出了一种基于置信反馈循环的迭代修复方法，解决了在图像中完成大量缺失区域的挑战。
• 我们提出一个引导上采样网络作为后处理步骤，以生成高分辨率的修复结果。
• 我们介绍了一种新的方法来合成训练数据，以建立用于真实物体移除应用的深层生成模型.

In summary, our contributions are three-fold:

• We address the challenge of completing large missing regions in
  images by proposing an iterative inpainting method with a confidence
  feedback loop.

• We propose a guided up-sampling network as a post processing step to
  enable generation of high-resolution inpainting results.

• We introduce a new procedure to synthesize training data for building
  deep generative models for real object removal applications.

5 Conclusion

我们提出了一种高分辨率的图像修复方法来去除大目标。该模型预测了修复结果及其置信度图，并利用置信度图对不满意区域进行迭代修正。为了提高高分辨率输入的视觉质量，我们首先获得低分辨率的结果，然后利用高分辨率神经块重建。此外，我们收集了一个大型对象掩模数据集，并合成真实的训练样本来模拟真实的用户输入。实验表明，该方法优于现有方法，获得了更好的视觉质量。

📙 博主 AI 领域八大干货专栏、诚不我欺

• 🍊 计算机视觉： Yolo专栏、一文读懂
• 🍊 计算机视觉：图像风格转换–论文–代码测试
• 🍊 计算机视觉：图像修复-代码环境搭建-知识总结
• 🍊 计算机视觉：超分重建-代码环境搭建-知识总结
• 🍊 深度学习：环境搭建，一文读懂
• 🍊 深度学习：趣学深度学习
• 🍊 落地部署应用：模型部署之转换-加速-封装
• 🍊 CV 和 语音数据集：数据集整理

📙 预祝各位 前途似锦、可摘星辰

🎉 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

❤️ 过去的一年、大家都经历了太多太多、祝你披荆斩棘、未来可期

• 📆 最近更新：2022年1月23日

• 🍊 点赞 👍 收藏 ⭐留言 📝 都是博主坚持写作、更新高质量博文的最大动力！

• 🍊 当前博主的主要创作领域如下、全网统一ID: 墨理学AI