Google DeepMind 发布 Genie 4:世界模型第一次自带声音
Google DeepMind 于 2026 年 10 月 27 日发布新一代实时交互世界模型 Genie 4,可与模拟场景同步生成音乐、环境音和交互对话,并由 Gemini 模型在循环中引导剧情推进。
Google DeepMind 发布了新一代世界模型 Genie 4,用于实时交互模拟。这款模型于 2026 年 10 月 27 日公布,是 2025 年 8 月 Genie 3 的后续产品。Genie 3 当时是 DeepMind 第一个实时交互通用世界模型。这一次最大的变化是声音:Genie 4 是 DeepMind 第一个原生生成音频的实时世界模型,可以在生成场景的同时同步生成音乐、环境音和交互对话。
按 DeepMind 的定义,世界模型是模拟一个环境并预测它随时间如何变化的系统。用户可以走进生成的场景,用键盘控制移动,并用自然语言提示引导接下来发生什么。Genie 4 建立在 Gemini 模型家族之上:DeepMind 表示,Gemini Omni 让模拟锚定于真实世界的外观与行为,其他 Gemini 模型则提供维持模拟连贯性与连续性所需的推理能力。
实际用法是,用户让一个事件开始运转,然后看着世界作出回应,包括它听起来如何、其中的人物如何移动、反应和说话。DeepMind 把这项工作视为通向通用人工智能的一步,认为理解并模拟世界是构建通用人工智能的关键部分,而安全且无限可变的模拟既可以作为机器人与智能体的训练环境,也可以成为新型交互体验的载体。
DeepMind 强调的四项能力
DeepMind 围绕四项进展组织了这次发布。第一是实时引导。用户可以在模拟运行时改变场景,例如用自然语言改变天气、移动镜头,或者引入一个新人物或新物体。Gemini 会把提示适配到周围场景之中,在用户两次输入之间也会监控并引导场景,让世界持续连贯地推进。
第二是物理与人体动作的真实感。DeepMind 称 Genie 4 为实时交互模拟树立了新的真实感标准,可以模拟空气动力学、碰撞等真实物理场景。而它所称的最大飞跃在于对人物的模拟:角色动作自然,对环境作出有机反应,并且可以实时交互引导。
第三是声音。每个世界都自带其环境的氛围声,从树林里的风声到海滩边的浪声,全部由模型生成而非后期添加。而 DeepMind 所称的真正前沿是人类语音:角色可以实时对话,并对用户输入或世界中的事件作出即时反应,对话内容随情境变化。
第四是复杂的多步骤事件,由 Gemini 模型在循环中实现。Gemini 3.8 Flash 在 Genie 4 渲染世界的同时担任引导智能体:它观察场景,把目标拆解为一连串步骤,并审阅输入的画面以跟踪进度、验证每一步是否完成。当世界发生变化或用户介入时,Gemini 会即时调整计划。DeepMind 表示,这让世界具备了可靠的因果关系、程序化行为和多步骤推理能力。它还尝试过把 Gemini 4 Argon 与 Genie 4 结合,其中一个演示是 Argon 把 Apptronik 人形机器人 Apollo 下跳棋的任务拆解为实时步骤,再由 Genie 渲染出来。
先上研究预览,暂不全面开放
Genie 4 目前尚未全面开放。DeepMind 表示,已开始以研究预览的形式向受信任的测试者推出,在更广泛发布之前收集反馈。按公告的说法,下一阶段是 Project Genie 中的 Google AI Ultra 订阅用户,以及 Gemini API 与 Google AI Studio 的早期合作伙伴。Project Genie 的 Genie 4 等候名单已经开放。
这种分阶段推出与 Genie 3 的做法一致。Genie 3 当时也是以有限的研究预览形式提供给一小批学者和创作者。DeepMind 表示,一直在与创意产业、新闻、教育、游戏和工程等领域的受信任测试者合作,以了解交互世界模型如何支持真实工作、又在哪些地方仍然不足。
DeepMind 报告的测试者反馈指向了几类早期用途。电影人把它作为快速的草稿模式用于前期可视化,走进一个场景的实时模拟,实时拍摄多个镜头,同时调整机位、光线、对白和动作。新闻摄影师在探索如何让一张二维档案照片在几秒钟内变成一个有依据的环境模拟,以及如何用有人居住的动态世界帮助观众体验历史空间,或可视化山洪、野火等短期环境事件的展开。游戏开发者把它作为从想法到可探索原型的捷径,在写引擎代码之前就用自然语言尝试视觉风格与交互机制。企业合作伙伴则在评估它作为快速场景生成工具的潜力,并找出要真正用作模拟工具还需要补齐的短板。
局限与安全护栏
DeepMind 明确表示,Genie 4 仍然处于早期实验阶段。虽然它能在较短的会话中维持连贯的环境,但随着模拟时间变长、经过多次复杂提示编辑,或者在场景中四处移动时,视觉细节与物体恒常性仍可能漂移。复杂的物理交互、实时音频准确性、可读文本的渲染、空间准确性与长期一致性,都被列为正在进行的研究方向。
在安全方面,DeepMind 表示 Genie 4 配备了与其其他模型一致的严格护栏,并在预览之前进行了内部安全评估,以防止生成有害或恶意内容。模型先部署给受信任的测试合作伙伴收集早期反馈,之后再更广泛发布。Genie 4 生成的所有视频与音频都会带有 SynthID,即 DeepMind 用于标识视觉与音频模态 AI 生成内容的不可见数字水印技术。
展望未来,DeepMind 指出混合世界模型是一条有前景的路径:把代码与语言模型合乎逻辑的结构化推理,同像素级模拟丰富的感官表征结合起来。让 Genie 与 Gemini 更紧密结合被描述为朝这个方向迈出的早期一步:Gemini 在幕后规划结构与叙事时间线,Genie 则逐像素渲染即时的物理现实。
就目前而言,Genie 4 更适合被理解为一个研究里程碑而非产品发布。它所宣称的能力——原生音频、更自然的人体动作、Gemini 引导的多步骤模拟——分量不轻,但 DeepMind 自己也提醒,长会话的一致性问题尚未解决。真正的考验在于,预览版到达 Ultra 订阅用户与 API 合作伙伴手中后,在精心策划的演示之外是否同样站得住。