关于ZAKER Skills GEO服务 合作
手机中国 6小时前

谷歌发布 Genie 4 世界模型 支持实时音频与中途操控场景

【CNMO 科技消息】据外媒报道,谷歌 DeepMind 周二以研究预览形式发布最新世界模型 Genie 4。这款模型能生成迄今最逼真、最具交互性的虚拟世界,用户可以在模拟运行过程中输入提示词实时改变场景,同时模型还能生成与虚拟环境匹配的实时音频,包括音乐、环境噪声和交互式对话。

谷歌公司

与一年多前发布预览版的上一代 Genie 3 相比,Genie 4 的进步直观可见:画面更逼真、新增音频,并支持自由编辑——实时改变天气、调整镜头角度,或者往场景里添加新的人物和物体。它能把一个连贯场景维持最长 2 分钟,是前代上限的两倍,物理表现更准,角色动作也更接近真人。

Gemini 与 Genie 4 的整合也更深。在整套流程里,Gemini 担任 " 导演 ",负责规划步骤、逐帧检查画面,Genie 则负责生成视觉内容。在一项与 Gemini Robotics 绑定的研究实验中,Gemini 4 Argon 模型把任务拆解成步骤,交由 Genie 4 实时模拟,这展示了一条可行的路径:机器人在真实世界行动之前,先在模拟环境中完成验证。谷歌研究总监 Tejas Kulkarni 在简报会上表示:" 未来会越来越多地看到这类混合世界模型—— Gemini 负责写代码和文本,Genie 实时接收并在不同抽象层级上模拟现实。"

和世界模型同行一样,Genie 4 对标的商用场景包括游戏、互动学习和机器人。外媒举了一个互动学习的设想例子:把一幅历史场景画作输入系统,然后直接与画中人物对话,了解画面背后的事件。而拿到首批体验资格的 " 可信测试者 " 则指出了另一个潜在用途——影视前期原型制作。谷歌 DeepMind 工程师 Diego Rivas 解释称," 实时性最有价值的地方,是那些需要让创作心流保持连贯的环节,比如构思阶段、故事板阶段——一切需要快速出概念的时刻。" 他同时介绍,谷歌的高清视频生成模型 Veo 在影视创作者中日渐流行,未来用户或许可以借助能结合图像、音频和文本生成视频的多模态大模型 Gemini Omni,把这些原型转化为创意素材,不过这类能力距离落地还有相当距离。

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容