高分辨率图像修复

举报
墨理学AI 发表于 2022/02/24 10:05:10 2022/02/24
【摘要】 测试总结
  • 🎉 声明: 作为全网 AI 领域 干货最多的博主之一,❤️ 不负光阴不负卿 ❤️
  • 1-0

    High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling

    论文

    该论文主页
    1


    按照论文所述:

    we collect a large object mask dataset :realistic hole dataset

    一个真实 mask 数据集

    后续再探索…



    api 效果测试:

    http://47.57.135.203:2333/

    test1
    2


    论文部分摘要翻译(有道词典)


    Abstract

    在实际应用中,现有的图像修复方法在处理大洞时会产生伪影。为了解决这一问题,我们提出了一种带有反馈机制的迭代修复方法。具体来说,我们引入了一种深度生成模型,该模型不仅可以输出修复结果,还可以输出相应的置信图。
    使用这个地图作为反馈,它通过在每次迭代中只信任洞内的高可信度像素,并在下一次迭代中关注剩余的像素来逐步填充洞。由于它重用以前迭代的部分预测作为已知的像素,这一过程逐渐改善了结果。
    此外,我们提出了一个引导上采样网络,以生成高分辨率的修复结果。我们通过扩展上下文注意模块[39]来借用输入图像中的高分辨率特征补丁来实现这一点。此外,为了模拟真实的物体移除场景,我们收集了一个大的物体掩模数据集,并合成更真实的训练数据,更好地模拟用户输入。
    实验表明,该方法在定量和定性评价方面都明显优于现有的方法。

    1 Introduction

    图像修复是一项重建图像中缺失区域的工作。它是计算机视觉中的一个重要问题,也是许多成像和图形应用的基本功能,如对象移除、图像恢复、操作、重定向、合成和基于图像的渲染[9,26,33]

    经典的修复方法,如[17,25,9],通常依赖于从已知区域或外部数据库图像中借用样本补丁并将其粘贴到洞中。这些方法对于具有小孔或均匀纹理背景的简单情况是非常有效的。它们还可以高效地处理高分辨率图像。然而,由于缺乏高层次的结构理解和生成新颖内容的能力,在漏洞较大时往往无法产生现实的结果。



    在数据方面,以前的方法是通过合成正方形[34,22,39]或不规则孔[29,40]来构造训练数据。然而,在实际应用中去除不需要的物体或场景片段时,填洞区域更有可能是物体形状的。为了模拟真实的用例,我们收集了大量带有物体形状孔的图像。我们将数据合成为包括以下两种常见情况:1)孔洞重叠前景对象,以模拟分散前景的对象遮挡前景;2)孔洞只出现在背景中,以模拟不需要的对象被突出前景对象遮挡的情况。

    论文主要贡献如下:

    • 我们提出了一种基于置信反馈循环的迭代修复方法,解决了在图像中完成大量缺失区域的挑战。
    • 我们提出一个引导上采样网络作为后处理步骤,以生成高分辨率的修复结果。
    • 我们介绍了一种新的方法来合成训练数据,以建立用于真实物体移除应用的深层生成模型.

    In summary, our contributions are three-fold:

    • We address the challenge of completing large missing regions in
      images by proposing an iterative inpainting method with a confidence
      feedback loop.

    • We propose a guided up-sampling network as a post processing step to
      enable generation of high-resolution inpainting results.

    • We introduce a new procedure to synthesize training data for building
      deep generative models for real object removal applications.


    5 Conclusion

    我们提出了一种高分辨率的图像修复方法来去除大目标。该模型预测了修复结果及其置信度图,并利用置信度图对不满意区域进行迭代修正。为了提高高分辨率输入的视觉质量,我们首先获得低分辨率的结果,然后利用高分辨率神经块重建。此外,我们收集了一个大型对象掩模数据集,并合成真实的训练样本来模拟真实的用户输入。实验表明,该方法优于现有方法,获得了更好的视觉质量。



    📙 博主 AI 领域八大干货专栏、诚不我欺



    📙 预祝各位 前途似锦、可摘星辰


  • 🎉 作为全网 AI 领域 干货最多的博主之一,❤️ 不负光阴不负卿 ❤️
  • ❤️ 过去的一年、大家都经历了太多太多、祝你披荆斩棘、未来可期
    • 📆 最近更新:2022年1月23日

    • 🍊 点赞 👍 收藏 ⭐留言 📝 都是博主坚持写作、更新高质量博文的最大动力!

    • 🍊 当前博主的主要创作领域如下、全网统一ID: 墨理学AI

    image.png

    【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。