基于ModelArts实现视频天空背景转换丨【华为云AI贺新年】

前言

ModelArts 是面向开发者的一站式 AI 开发平台，为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期 AI 工作流。

简介

项目首页Github

这个天空背景转换 notebook 基于预印本论文「Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos, arXiv:2010.11800.」提供了最基本的视频天空替换的可复现例子。简单来说，这个原理相当于绿幕抠图，将视频里的天空换成另外一种。下面来进行实操：

框架使用的是PyTorch1.4
硬件用的是：8 vCPU + 64 GiB + 1 x Tesla V100-PCIE-32GB

 基础环境准备

在使用 ModelArts 进行 AI 开发前，需先完成以下基础操作哦（如有已完成部分，请忽略），主要分为4步（注册–>实名认证–>服务授权–>领代金券）：

1. 使用手机号注册华为云账号：点击注册

2. 点此去完成实名认证，账号类型选"个人"，个人认证类型推荐使用"扫码认证"。 

   
   

3. 点此进入 ModelArts 控制台数据管理页面，上方会提示访问授权，点击【服务授权】按钮，按下图顺序操作： 

   
   

4. 进入 ModelArts 控制台首页，如下图，点击页面上的"彩蛋"，领取新手福利代金券！后续步骤可能会产生资源消耗费用，请务必领取。 
   

以上操作，也提供了详细的视频教程，点此查看：ModelArts环境配置

天空背景转换具体步骤

1.准备

点击此链接https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=1e793f22-d5a2-4ca3-b768-6b19608b5b25进入AI Gallery下的项目详情

再点击Run in ModelArts自动打开这个notebook

切换规格进行训练

切换为GPU  8 核  64GB  免费的

2.下载代码和数据

选中下列代码，使用上方工具栏中的三角形按钮进行运行

也可以使用快捷键Ctrl+Enter 运行

等待下载完毕，*号加载变成数字就代表完成了！

3.安装依赖库

按照第一步的运行方法进行运行代码，等待一段时间后，*号变成数字代表代码运行结束

4.切换项目文件路径

5.检查设备运行和导入依赖

6.配置模型

设置路径和参数

7.定义辅助功能

出现Now you can process your video，意思是现在你可以处理你的视频了

8.处理视频

耐心等待一会

加载完成就是这样

9.转换视频格式

将avi格式转换成了mp4格式

10.预览视频效果

代码运行完毕后会生成一个视频展示，有前后对比的，非常nice

如果想看前40帧的可以运行这个代码

# 在 './SkyAR/demo.avi' 和 './SkyAR/demo-cat.avi' 中查看最终结果。

# 如果你想查看交互预览效果。运行这个 cell。会查看前 40 帧的效果。

import matplotlib.animation as animation
from IPython.display import HTML

fig = plt.figure(figsize=(4,8))
plt.axis('off')
ims = [[plt.imshow(img[:,:,::-1], animated=True)] for img in sf.output_img_list[0:40]]
ani = animation.ArtistAnimation(fig, ims, interval=50)

HTML(ani.to_jshtml())

效果展示

关于此次天空背景转换就说到这里了，如有不足之处，欢迎指正！

【华为云AI贺新年】有奖征文火热进行中：https://bbs.huaweicloud.com/blogs/325842