2022预计要火的视觉语言理解和生成:一键生成图像标注,视觉问答,代码开源,官方 Demo 可玩

举报
墨理学AI 发表于 2022/02/12 10:57:24 2022/02/12
【摘要】 预计要火、 Demo 可玩

1-0

  • 🍊 各位读者小伙伴、元宵节快乐
  • 📆 最近更新:2022年2月11日
  • 🍊 趣学深度学习、AI 前沿、技术专栏、敬请关注
  • 🍊 本文为大家分享一项好玩的,预计2022会火的视觉语言理解和生成任务
  • 🍊 AI 之路、道阻且长、感谢无数前辈巨佬的倾情奉献

📕 一键生成图像标注,视觉问答,官方 Demo 可玩


论文基础信息如下

📕 官方 Demo 试玩效果


视觉语言理解和生成、操作三部曲如下

  1. 上传心仪图像
  2. 点击下方的提交按钮
  3. 等待几秒,右侧即可生成对应的:图像内容描述

1-1

引导式:智能问答

1-3

不懂就问:我要是上传一张自己的图像,它会不会直接猜到我心里在想什么

1-4

论文中的一些官方示例,红色是问题,绿色是回答,人工智能 YYDS 了

1-2

📕 网络结构


多个编码器-解码器

2-1

模型架构

研究者将一个视觉 transformer 用作图像编码器,该编码器将输入图像分解为 patch,然后将这些 patch 编码为序列嵌入,并使用一个额外的[CLS] token 表征全局图像特征。相较于将预训练目标检测器用于视觉特征提取的方法,使用 ViT 在计算上更友好,并且已被最近很多方法所采用。

为了预训练一个具备理解和生成能力的统一模型,研究者提出了多任务模型 MED(mixture of encoder-decoder),它可以执行以下三种功能的任意一种:

  • 单峰编码器
  • 基于图像的文本编码器
  • 基于图像的文本解码器

预训练目标

研究者在预训练过程中共同优化了三个目标,分别是两个基于理解的目标和一个基于生成的目标。每个图像文本对只需要一个前向传播通过计算更重(computational-heavier)的视觉 transformer,需要三个前向传播通过文本 transformer,其中激活不同的功能以计算以下 3 个损失,分别是:

  • 图像文本对比损失(image-text contrastive loss, ITC),激活单峰编码器,旨在通过鼓励正图像文本对(而非负对)具有相似的表征来对齐视觉与文本 transformer 的特征空间;

  • 图像文本匹配损失(image-text matching loss, ITM),激活基于图像的文本编码器,旨在学习捕获视觉与语言之间细粒度对齐的图像文本多模态表征;

  • 语言建模损失(language modeling loss, LM),激活基于图像的文本解码器,旨在给定一张图像时生成文本描述。

为了在利用多任务学习的同时实现高效的预训练,文本编码器和解码器必须共享除自注意力(self-attention, SA)层之外的所有参数。具体地,编码器使用双向自注意力为当前输入 token 构建表征,同时解码器使用因果自注意力预测接下来的 token。

另外,嵌入层、交叉注意力(cross attention, CA)层和 FFN 在编码和解码任务之间功能类似,因此共享这些层可以提升训练效率并能从多任务学习中获益

📕 实验:数据集指标PK


实验结果

研究者在 PyTorch 中实现模型,并在两个 16-GPU 节点上预训练模型。其中,图像 transformer 源于在 ImageNet 上预训练的 ViT,文本 transformer 源于 BERT_base。

2-2

这个论文的工作感觉还是相当有意思,大家有兴趣,可下载原文进行详细研究,传送门地址如下

📙 博主 AI 领域八大干货专栏、诚不我欺


📙 预祝各位 前途似锦、可摘星辰


  • 🎉 作为全网 AI 领域 干货最多的博主之一,❤️ 不负光阴不负卿 ❤️
  • ❤️ 过去的每一天、想必你也都有努力、祝你披荆斩棘、未来可期
  • 9-9

    【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。