LivePortrait适配鲲鹏开源验证任务心得

举报
zwq0201 发表于 2024/12/06 16:21:49 2024/12/06
【摘要】 开发过程明确目的后开始熟悉模型,LivePortrait模型的github网址:https://github.com/KwaiVGI/LivePortrait/tree/main ,把LivePortrait项目从github上用git拉取下来。CPU验证推理(1)安装依赖包安装ffmpeg,可参考:https://blog.csdn.net/G971005287W/article/deta...

根据任务计划书(https://bbs.huaweicloud.com/blogs/441749)了解任务内容,主要目的是将LivePortrait项目适配至华为的 鲲鹏(CPU)确保其在鲲鹏上能够正常运行,可以实现图片到动画生成的功能

开发过程

明确目的后开始熟悉模型,LivePortrait模型的github网址:https://github.com/KwaiVGI/LivePortrait/tree/main ,把LivePortrait项目从github上用git拉取下来。

CPU验证推理

1)安装依赖包

安装ffmpeg,可参考:

https://blog.csdn.net/G971005287W/article/details/135555120

注:torch需下载2.3.0版本,对应的torchvision==0.18.0、torchaudio==2.3.0

(2)修改推理代码

涉及修改的代码包括live_portrait_wrapper.py

live_portrait_wrapper.py脚本修改:

1、设备改为cpu

2、可添加代码,确保模型数据类型为float32

convnextv2.py脚本修改:

1、确保数据类型为32,同时加载到CPU上

2、如报相关矩阵乘法的错,可改为手动矩阵乘法计算

1 验证截图

1.1验证思路

(1)从github上拉取LivePortrait仓库,在CPU搭建必需的环境和安装相关依赖,之后启动infer推理脚本

(2)可命令行指定-s参数,可选你自己想要测试的图片,-d指定生成视频的模板,运行后生成对应的视频,可下载查看。

1.2 CPU推理结果

运行代码:

python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4

测试图片:

生成结果:



      


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。