基于ModelArts实现视频天空背景转换丨【华为云AI贺新年】

运气男孩 发表于 2022/02/24 18:20:00 2022/02/24
【摘要】 前言ModelArts 是面向开发者的一站式 AI 开发平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。简介项目首页Github这个天空背景转换 notebook 基于预印本论文「Castle in the Sky: Dynamic Sky Replacemen...

前言

ModelArts 是面向开发者的一站式 AI 开发平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。

简介

项目首页Github

这个天空背景转换 notebook 基于预印本论文「Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos, arXiv:2010.11800.」提供了最基本的视频天空替换的可复现例子。简单来说,这个原理相当于绿幕抠图,将视频里的天空换成另外一种。下面来进行实操:

框架使用的是PyTorch1.4
硬件用的是:8 vCPU + 64 GiB + 1 x Tesla V100-PCIE-32GB

 基础环境准备

在使用 ModelArts 进行 AI 开发前,需先完成以下基础操作哦(如有已完成部分,请忽略),主要分为4步(注册–>实名认证–>服务授权–>领代金券):

  1. 使用手机号注册华为云账号:点击注册

  2. 点此去完成实名认证,账号类型选"个人",个人认证类型推荐使用"扫码认证"。 

    image.png

  3. 点此进入 ModelArts 控制台数据管理页面,上方会提示访问授权,点击【服务授权】按钮,按下图顺序操作: 

    image.png

  4. 进入 ModelArts 控制台首页,如下图,点击页面上的"彩蛋",领取新手福利代金券!后续步骤可能会产生资源消耗费用,请务必领取。 

以上操作,也提供了详细的视频教程,点此查看:ModelArts环境配置

image.png

天空背景转换具体步骤

1.准备

点击此链接https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=1e793f22-d5a2-4ca3-b768-6b19608b5b25进入AI Gallery下的项目详情

再点击Run in ModelArts自动打开这个notebook

切换规格进行训练

切换为GPU  8 核  64GB  免费的

2.下载代码和数据

选中下列代码,使用上方工具栏中的三角形按钮进行运行

也可以使用快捷键Ctrl+Enter 运行

等待下载完毕,*号加载变成数字就代表完成了!

3.安装依赖库

按照第一步的运行方法进行运行代码,等待一段时间后,*号变成数字代表代码运行结束

4.切换项目文件路径

5.检查设备运行和导入依赖

6.配置模型

设置路径和参数

7.定义辅助功能

出现Now you can process your video,意思是现在你可以处理你的视频了

8.处理视频

耐心等待一会

加载完成就是这样


9.转换视频格式

将avi格式转换成了mp4格式

10.预览视频效果

代码运行完毕后会生成一个视频展示,有前后对比的,非常nice

如果想看前40帧的可以运行这个代码

# 在 './SkyAR/demo.avi' 和 './SkyAR/demo-cat.avi' 中查看最终结果。

# 如果你想查看交互预览效果。运行这个 cell。会查看前 40 帧的效果。

import matplotlib.animation as animation
from IPython.display import HTML

fig = plt.figure(figsize=(4,8))
plt.axis('off')
ims = [[plt.imshow(img[:,:,::-1], animated=True)] for img in sf.output_img_list[0:40]]
ani = animation.ArtistAnimation(fig, ims, interval=50)

HTML(ani.to_jshtml())

效果展示

demo-cat 00_00_00-00_00_30.gif

关于此次天空背景转换就说到这里了,如有不足之处,欢迎指正!

【华为云AI贺新年】有奖征文火热进行中:https://bbs.huaweicloud.com/blogs/325842

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。