输入文字还能直接编辑图片?丨【我与ModelArts的故事】

举报
AXYZdong 发表于 2023/04/18 21:32:03 2023/04/18
【摘要】 InstructPix2Pix是 UC 伯克利的研究团队提出的一种根据人类指令编辑图像的新方法,这个模型结合了 GPT-3 和 Stable Diffusion。给定输入图像和告诉模型要做什么的文本描述,模型就能遵循描述指令来编辑图像。

image.png

前期准备

AI 文字编辑图片 instruct-pix2pix 案例 是在华为云 ModelArts 平台上进行实践。

因此,在使用ModelArts之前,需要进入华为云官网 https://www.huaweicloud.com/ ,然后注册华为云账号,再进行实名认证。主要分为4步(注册–>实名认证–>服务授权–>领代金券)(如有已完成部分,请忽略)

image.png

点此去完成 实名认证,账号类型选"个人",个人认证类型推荐使用"扫码认证"。

image.png

具体步骤

下面是实现文字编辑图片的具体步骤。

第一步,进入华为云提供的AI 文字编辑图片 instruct-pix2pix案例入口。

https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=1449263e-83d2-438a-895c-dab8ab9ba5c8&ticket=ST-81479-CIrz2uuQi2uMIRcbTlzdobWR-sso

点击 Run in ModelArts

image.png

连接中,等待连接完毕。

image.png

完成环境配置,选择 [限时免费]GPU: 1*V100|CPU: 8核 64GB,点击“切换规格”。

image.png

资源切换完成,点击“确定”。

image.png

第二步,安装需要的运行环境

image.png

!nvidia-smi
!pip install --upgrade pip
!pip install diffusers==0.13.1 accelerate safetensors transformers -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

运行结果

image.png

第三步,下载AI模型预训练权重文件,加载模型

image.png

运行结果

image.png

第四步, 编辑图片

demo_imgs 文件夹下添加自己的图片。

image.png

prompt:变成漫画风格

image.png

prompt:make them in the universe

image.png

prompt:变为cyberpunk机器人

image.png

prompt:make it Minecraft

image.png

prompt:what would it look like if it were snowing

image.png

生成poster

image.png

总结

根据文字直接对图片进行编辑,这个模型结合了 GPT-3 和 Stable Diffusion。给定输入图像,告诉模型文本描述,模型就能遵循描述指令来编辑图像。适合大范围修改图像,或者根据其他图像风格进行迁移。

参考文献


——END——

我正在参加【有奖征文第21期】说说你和ModelArts的故事,输出优质产品体验文章,赢开发者大礼包!
https://bbs.huaweicloud.com/blogs/395149

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。