输入文字还能直接编辑图片？丨【我与ModelArts的故事】

前期准备

AI 文字编辑图片 instruct-pix2pix 案例 是在华为云 ModelArts 平台上进行实践。

因此，在使用ModelArts之前，需要进入华为云官网 https://www.huaweicloud.com/ ，然后注册华为云账号，再进行实名认证。主要分为4步（注册–>实名认证–>服务授权–>领代金券）（如有已完成部分，请忽略）

点此去完成 实名认证，账号类型选"个人"，个人认证类型推荐使用"扫码认证"。

具体步骤

下面是实现文字编辑图片的具体步骤。

第一步，进入华为云提供的AI 文字编辑图片 instruct-pix2pix案例入口。

https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=1449263e-83d2-438a-895c-dab8ab9ba5c8&ticket=ST-81479-CIrz2uuQi2uMIRcbTlzdobWR-sso

点击 Run in ModelArts。

连接中，等待连接完毕。

完成环境配置，选择 [限时免费]GPU: 1*V100|CPU: 8核 64GB，点击“切换规格”。

资源切换完成，点击“确定”。

第二步，安装需要的运行环境

!nvidia-smi
!pip install --upgrade pip
!pip install diffusers==0.13.1 accelerate safetensors transformers -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

运行结果

第三步，下载AI模型预训练权重文件，加载模型

运行结果

第四步， 编辑图片

在 demo_imgs 文件夹下添加自己的图片。

prompt：变成漫画风格

prompt：make them in the universe

prompt：变为cyberpunk机器人

prompt：make it Minecraft

prompt：what would it look like if it were snowing

生成poster

总结

根据文字直接对图片进行编辑，这个模型结合了 GPT-3 和 Stable Diffusion。给定输入图像，告诉模型文本描述，模型就能遵循描述指令来编辑图像。适合大范围修改图像，或者根据其他图像风格进行迁移。

参考文献

• [1]https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=1449263e-83d2-438a-895c-dab8ab9ba5c8&ticket=ST-81479-CIrz2uuQi2uMIRcbTlzdobWR-sso

我正在参加【有奖征文第21期】说说你和ModelArts的故事，输出优质产品体验文章，赢开发者大礼包！
https://bbs.huaweicloud.com/blogs/395149