LivePortrait适配鲲鹏开源验证任务心得
根据任务计划书(https://bbs.huaweicloud.com/blogs/441749)了解任务内容,主要目的是将LivePortrait项目适配至华为的 鲲鹏(CPU),确保其在鲲鹏上能够正常运行,可以实现图片到动画生成的功能。
开发过程
明确目的后开始熟悉模型,LivePortrait模型的github网址:https://github.com/KwaiVGI/LivePortrait/tree/main ,把LivePortrait项目从github上用git拉取下来。
CPU验证推理
(1)安装依赖包
https://blog.csdn.net/G971005287W/article/details/135555120
注:torch需下载2.3.0版本,对应的torchvision==0.18.0、torchaudio==2.3.0
(2)修改推理代码
涉及修改的代码包括live_portrait_wrapper.py
live_portrait_wrapper.py脚本修改:
1、设备改为cpu
2、可添加代码,确保模型数据类型为float32
convnextv2.py脚本修改:
1、确保数据类型为32,同时加载到CPU上
2、如报相关矩阵乘法的错,可改为手动矩阵乘法计算
1 验证截图
1.1验证思路
(1)从github上拉取LivePortrait仓库,在CPU搭建必需的环境和安装相关依赖,之后启动infer推理脚本
(2)可命令行指定-s参数,可选你自己想要测试的图片,-d指定生成视频的模板,运行后生成对应的视频,可下载查看。
1.2 CPU推理结果
运行代码:
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4
测试图片:
生成结果:
- 点赞
- 收藏
- 关注作者
评论(0)