基于 ModelArts 使用StyleGAN3 生成高清图

Nvidia新作：StyleGAN3， 从根本上解决了StyleGAN2 图像坐标与特征粘连的问题，实现了真正的图像平移、旋转等不变性，大幅提高了图像合成质量

本案例主要介绍了生成图像的推理过程，你可以输入一个噪声，得到对应的人脸，猫脸，肖像脸图像

github地址：https://github.com/NVlabs/stylegan3

论文地址：Alias-Free Generative Adversarial Networks
ModelArts案例链接：https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=e62562a1-29d1-4c6b-a057-b7562f44c642&ticket=ST-661953-kE5P1w4JgchARxOCtEDQq4Ch-sso

使用方法：点击上方菜单，选择 Run（运行） - Run All Cells（运行所有）

第一步 安装依赖

import os
import moxing as mox
mox.file.copy('obs://obs-aigallery-zc/clf/code/StyleGAN3/stylegan3.zip','stylegan3.zip')
os.system('unzip stylegan3.zip')

%cd stylegan3
!conda env update --file environment.yml
!pip uninstall -y torch
!pip uninstall -y torchvision
!pip install torch==1.7.0
!pip install torchvision==0.8
!pip uninstall -y Ninja
!pip install Ninja 
from IPython.display import display,Image
from IPython.display import HTML
from base64 import b64decode, b64encode

第二步 生成图片

# 使用预训练的AFHQv2模型生成图片
!python gen_images.py --outdir=out_0 --trunc=1 --seeds=2 \
    --network=stylegan3-r-afhqv2-512x512.pkl

# 展示效果
display(Image(filename='./out_0/seed0002.png'))  

# 使用预训练的FFHQ模型生成图片
!python gen_images.py --outdir=out_1 --trunc=1 --seeds=2 \
    --network=stylegan3-r-ffhq-1024x1024.pkl




```python
# 展示效果
display(Image(filename='./out_1/seed0002.png'))  

# 使用预训练的metfaces模型生成图片
!python gen_images.py --outdir=out_2 --trunc=1 --seeds=2 \
    --network=stylegan3-r-metfaces-1024x1024.pkl

# 展示效果
display(Image(filename='./out_2/seed0002.png'))  

第三步 生成插值视频

# 使用预训练的AFHQv2模型生成视频
!pip install imageio-ffmpeg
!python gen_video.py --output=lerp.mp4 --trunc=1 --seeds=0-31 --grid=4x2 \
    --network=stylegan3-r-afhqv2-512x512.pkl

# 展示效果
outpath = "lerp.mp4"
mp4 = open(outpath,'rb').read()
data_url = "data:video/mp4;base64," + b64encode(mp4).decode()
HTML("""
<video width=400 controls>
      <source src="%s" type="video/mp4">
</video>
""" % data_url)

# 使用预训练的FFHQ模型生成视频
!python gen_video.py --output=ffhq.mp4 --trunc=1 --seeds=0-31 --grid=4x2 \
    --network=stylegan3-r-ffhq-1024x1024.pkl

# 展示效果
outpath = "ffhq.mp4"
mp4 = open(outpath,'rb').read()
data_url = "data:video/mp4;base64," + b64encode(mp4).decode()
HTML("""
<video width=400 controls>
      <source src="%s" type="video/mp4">
</video>
""" % data_url)

# 使用预训练的metfaces模型生成视频
!python gen_video.py --output=met.mp4 --trunc=1 --seeds=0-31 --grid=4x2 \
    --network=stylegan3-r-metfaces-1024x1024.pkl

# 展示效果
outpath = "met.mp4"
mp4 = open(outpath,'rb').read()
data_url = "data:video/mp4;base64," + b64encode(mp4).decode()
HTML("""
<video width=400 controls>
      <source src="%s" type="video/mp4">
</video>
""" % data_url)