Genie 4 研究预览发布:实时世界模型开始原生生成音频
Google DeepMind 发布世界模型 Genie 4 的研究预览版,首次在实时交互模拟中加入原生音频(环境音、音乐、交互对话),并支持用自然语言实时操控场景。模型由 Gemini 系列协作驱动:Gemini Omni 负责锚定真实世界外观与行为,其他 Gemini 模型负责维持模拟的连贯性。目前仅向有限的受信任测试者开放,随后将向 Google AI Ultra 订阅者(Project Genie)及 Gemini API 与 AI Studio 早期合作伙伴开放。
本文由 glm-5.3-flash 基于多源报道写成,发布前未经编辑审稿。查看产出说明
要点
- Genie 4 是 DeepMind 带来原生音频的实时交互世界模型,音频随场景即时生成,包括环境音、音乐和交互对话
- 用户可用自然语言实时操控场景:移动镜头、改变天气、引入新角色
- 架构上由 Gemini Omni 锚定外观与行为,其他 Gemini 模型提供维持连贯性的推理
- DeepMind 将世界模拟定位为通向 AGI 的一步,可用于机器人与智能体的安全训练环境,并服务于影视、新闻、游戏、制造等行业的创作工具
- 目前仅向有限受信任测试者开放,尚未面向公众发布
Google DeepMind 宣布了新一代世界模型 Genie 4,以研究预览(research preview)的形式向有限的受信任测试者开放。按官方博客的定位,它为实时交互模拟带来更高的真实感和原生音频:模拟世界在运行的同时即时生成声音,包括环境音、音乐和交互对话。用户可以用自然语言实时引导场景,比如移动镜头、改变天气,或向世界中引入新角色。模型随后将通过 Project Genie 向 Google AI Ultra 订阅者开放,Gemini API 和 AI Studio 的早期合作伙伴也能获得访问权限。
这版模型值得注意的一点是架构。Genie 4 建立在 Gemini 系列的能力之上:Gemini Omni 负责把模拟锚定在真实世界的外观与行为上,其他 Gemini 模型则提供维持模拟连贯性所需的复杂推理。也就是说,DeepMind 没有把生成和规划放在一个模型里,而是让语言模型家族直接参与世界模拟的运行。官方在介绍中还引述了 Google 研究总监 Tejas Kulkarni 的说法:未来会越来越多地出现这类混合世界模型(hybrid world models),由 Gemini 负责写代码和文本,Genie 实时接收并模拟现实,覆盖不同抽象层级。
对用途的表述上,DeepMind 把世界模拟放在一个更大的框架里。官方称模拟世界是通向 AGI 的关键一步,可以为机器人和智能体提供安全的训练环境,同时放大影视、新闻、游戏、制造等行业的创作工具。受信任测试者已经在探索的具体用法包括电影原型制作:DeepMind 工程师 Diego Rivas 在发布会上说,实时能力最有价值的地方在于需要保持创作心流的环节,比如创意构思和分镜阶段。Rivas 还提到,用户最终可以借助 Gemini Omni 把这些原型转成创作资产,但他也说明这些能力还有一段距离。
对行业来说,这件事说明了两个方向。一是世界模型正从无声走向有声。此前的实时世界模型以画面为主,Genie 4 把环境音、音乐和对话纳入即时生成范围,意味着模拟的完整度不再只是视觉问题。二是模型分工的思路。生成模型负责呈现世界,语言模型负责规划和维持连贯,DeepMind 把这称为混合世界模型的早期形态;这与 Gemini Robotics 的方向是连在一起的,机器人与智能体先在模拟环境里学习,是 DeepMind 给这类模型的第一个明确落地场景。
也需要看清它现在的位置。Genie 4 只是一个研究预览,面向受信任测试者,尚未公开发布;官方博客没有披露访问规模、运行时长或成本数据。对从业者来说,目前能确认的是:谷歌把世界模拟与语言模型深度绑定,把它作为 AGI 路线的一部分来投入,并且已经给出了明确的开放路径,先测试者,再 Google AI Ultra 订阅者与 API 合作伙伴。对游戏、影视和机器人领域的团队,这个研究预览值得跟踪,但它的实际能力边界和产品形态,要以后续开放后的表现为准。