单张 5090 跑实时世界模型:VAST 开源 EdenLive,把简陋游戏画面实时渲染成写实大片

举报
Daniel777 发表于 2026/10/20 09:03:05 2026/10/20
【摘要】 2026 年 10 月 18 日,AI 3D 公司 VAST 开源了实时生成式渲染模型 EdenLive——给它一个简化场景或参考视频,配上目标首帧和提示词,它就能实时把粗糙画面渲染成写实或二次元风格。单张消费级 RTX 5090、720P 下,5B 模型跑出 24 FPS+,端到端延迟百毫秒级。这是"世界模型"这条技术路线上,第一个真正能实时跑、还开源权重和代码的成果。 一、先说清楚:Ed...

2026 年 10 月 18 日,AI 3D 公司 VAST 开源了实时生成式渲染模型 EdenLive——给它一个简化场景或参考视频,配上目标首帧和提示词,它就能实时把粗糙画面渲染成写实或二次元风格。单张消费级 RTX 5090、720P 下,5B 模型跑出 24 FPS+,端到端延迟百毫秒级。

这是"世界模型"这条技术路线上,第一个真正能实时跑、还开源权重和代码的成果。


一、先说清楚:EdenLive 到底是什么

EdenLive 是 VAST 长期项目 Project Eden 的阶段性成果,定位是实时生成式渲染器。它的核心思想一句话就能说清:

世界怎么运行(逻辑/状态)和画面怎么呈现(视觉渲染)分开处理。

具体分工是:

  • 上游:游戏引擎、或 coding agent 写的代码,负责运行规则、维护世界状态、输出简化的参考视频
  • 下游(EdenLive):接收参考视频流 + 目标首帧 + 文本提示词,在保持布局与运动关系的前提下,实时生成精细画面

为什么这么拆?VAST 的理由很实在:让游戏逻辑保持显式、可测试,同时让实时模型有限的算力,专注在"外观"这一件事上。


二、核心性能:消费级显卡就能实时跑

这是最震撼的数字。EdenLive 的实测数据:

配置 分辨率 帧率
5B 模型 + 单张 RTX 5090 720P(1280×704) 24.7 FPS
5B 模型 + 单张 H100 同分辨率 29.8 FPS
14B 模型 + 八卡 H100 832×480 26.8 FPS

配合这些:

  • 端到端延迟:从用户输入到对应画面出现,百毫秒级
  • 连续生成:支持分钟级不间断输出
  • 推理框架:LightX2V 加速

一句话:世界模型第一次做到了"消费级显卡 + 实时帧率"。 这是从"离线生成一段视频"到"实时交互式生成"的质变。


三、技术路线:解耦世界状态与视觉渲染

EdenLive 背后的技术路线,是 Project Eden 早在 6 月就提出的三层架构:

  1. 持续演化的结构化状态——负责状态维护(世界怎么运行)
  2. 状态到观测的接口——负责观测转换(世界如何被看到)
  3. 生成式神经渲染——负责画面生成(世界看起来是什么样)

EdenLive 承担的是第三层。这个"解耦"设计,比行业共识提前了 3-4 个月——GPT-6 Astra 在 Blender 搭场景、转 Unreal Engine 的做法,其实也是同一个方向的验证。

两个模型分别基于 Wan2.2-TI2V-5B 和 Wan2.1-I2V-14B 视频模型构建。开源范围很实诚:

  • 推理代码 + 核心扩散组件 + VAE/解码器权重 → Apache 2.0
  • 视觉编码器 → DINOv3 许可
  • 提示词生成游戏工作台用到的图像模型 → FLUX 非商用许可(该工作台仅限非商业)

四、能干什么:四个已公开的实测场景

1. 交互式游戏预览

岩浆闯关里,角色用冷冻枪造落脚点跳跃前进——左边是简陋方块,右边实时渲染成写实人物。双人对打游戏里,血条、回合计时这些游戏状态由上游维护,画面由 EdenLive 实时生成。

2. 场景与动画预览

同一套布局和运镜,换不同美术风格。雪地行车、鹈鹕骑车这些场景,从简单模型实时渲染出写实质感、积雪、光影。

3. 视频重渲染与换皮

已有视频交给 EdenLive 重新渲染——蓝屏前的真人变卡通角色(姿态和服装配色保持一致)、实拍房屋变手绘动画。类似虚拟主播换形象。

4. 具身数据增强

把第一视角真人操作视频里的人手,实时替换成机械手,但清洁动作保持一致。为具身 AI 研究衍生不同外观的训练样本。


五、现阶段的局限(实话实说)

VAST 很坦诚地列出了四个不足,这些是判断"能不能用"的关键:

  1. 高频、激烈交互下,生成速度和动作呈现跟不上
  2. 多角色同时出现时,身份保持不稳
  3. 小物体的精细控制不够
  4. 长时间生成中,视觉一致性会漂移

现阶段最适合的是场景漫游、推箱子这类低频交互,以及画风切换、视频重渲染、数据增强这些非实时对抗性场景。


六、配套:Game Prototype Turbo

VAST 还开源了一个叫 Game Prototype Turbo 的 Skill——“Prompt to Proxy Game”:

把一段文本提示词,转成一个粗糙但可玩的游戏原型。游戏运行时,交互系统维护状态并输出简化参考画面,EdenLive 再实时渲染成精细画面。

这就串起了一条完整的链路:文本提示 → 可玩游戏 → 实时精美画面。从"生成资产"到"生成可玩世界",VAST 在往"人人能创造可交互世界"的愿景走。


结语

EdenLive 最值得记住的,不是"单卡 24FPS"这个数字,而是它验证了一个正在成为共识的技术判断:

AI 生成 3D/游戏内容的正确分工,是"逻辑归逻辑,渲染归渲染"。 用显式、可测试的代码维护世界状态,用实时生成模型负责视觉呈现——两者各司其职,而不是指望一个模型端到端"全知全能"。

对开发者,它的开源意味着你可以在本地复现、改造这个实时渲染管线(注意各组件许可证不同,商用前要逐项核对)。对行业,它把"实时世界模型"从论文拉进了可跑的代码仓库。

而 VAST 背后的路线图更值得关注:3D 资产生成(Tripo)→ 世界状态建模 → 实时神经渲染,这条"从 3D 走向可交互世界"的路径,正在一步步落地。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。