关于ZAKER Skills 合作
全天候科技 6小时前

效率提升 9 倍!英伟达新模型 Nemotron 3 Nano Omni 瞄准智能体落地,整合语音、视觉与推理能力

在人工智能智能体(AI Agent)竞赛持续升温之际,英伟达正加速从 " 算力霸主 " 向 " 模型平台商 " 延伸。

美东时间 28 日周二,英伟达在公司博客宣布,推出名为 Nemotron 3 Nano Omni 的全新开源模型,主打 " 原生全模态理解 + 高效推理 ",试图为企业级 AI Agent 提供一体化基础模型底座。英伟达介绍,这款业内领先的开源全模态推理模型融合了视觉、音频与语言能力,将帮助 AI 智能体实现高达 9 倍的效率提升。

英伟达介绍,已有一批 AI 与软件领域的公司率先采用了 Nemotron 3 Nano Omni,包括 Aible、Applied Scientific Intelligence ( ASI ) 、Eka Care、富士康、H Company、Palantir 和 Pyler。此外,戴尔、DocuSign、Infosys、K-Dense、Lila、甲骨文和 Zefr 正在对该模型进行评估。

主打 Omni:一个模型打通语音、视觉与语言

不同于传统多模态模型通常通过拼接多个子模型实现能力融合,Nemotron 3 Nano Omni 强调 " 原生全模态(omni-understanding)"。其可同时处理文本、图像、音频甚至视频输入,并在统一架构内完成理解与推理任务。

英伟达在技术博客中指出,该模型具备从视频和文档中提取信息的能力,支持复杂场景下的跨模态推理,例如通过语音转录增强视频理解,或结合 OCR 解析视觉文本内容。

从架构上看,Nemotron 3 Nano Omni 延续了 Nemotron 3 系列的混合架构路线:融合 Transformer 与 Mamba 机制,并引入混合专家(MoE)以在保持性能的同时大幅降低推理成本。

瞄准 AI 智能体 从理解走向执行

此次发布的核心关键词并非多模态,而是智能体。英伟达明确将 Nemotron 3 系列定位为代理式(agentic)AI 的基础模型,即不仅用于生成内容,更用于驱动具备决策与执行能力的智能体系统。

官方资料显示,Nano Omni 是首个 " 生产级开放模型 ",专为构建可扩展 AI Agent 设计,支持长上下文、多步骤推理以及工具调用等能力。

同时,该模型还引入 GUI 训练数据,使 AI 可以理解和操作界面元素,进一步贴近真实应用场景,例如自动化办公流程、软件操作甚至复杂工作流执行。

媒体解读认为,这种 " 全模态 +Agent" 组合意味着 AI 系统可以直接处理现实世界中的非结构化数据(视频、语音、文档),并据此做出决策,从而拓展 AI 在企业中的落地边界。

效率仍是核心卖点:小模型撬动大能力

尽管能力扩展至多模态与智能体场景,Nemotron 3 Nano Omni 仍延续 "Nano" 定位,即强调高性价比与推理效率。

Nemotron 3 Nano 基础模型采用约 300 亿参数规模,但通过 MoE 机制每次仅激活参数 30 亿,在性能与成本之间取得平衡。同时,该系列模型支持超长上下文(最高达百万 token 级别),适合处理复杂文档与长流程任务。

在英伟达整体产品体系中,Nano、Super 与 Ultra 形成梯度:Nano 强调效率,Super 面向高吞吐企业场景,Ultra 则瞄准前沿推理能力。

开源生态对抗闭源阵营

值得注意的是,英伟达再次强调 " 开放 "。Nemotron 3 Nano Omni 不仅开放模型权重,还配套提供训练数据、工具链(如 NeMo)以及优化方案,试图打造完整开发生态。

这一策略正值 AI 行业分化加剧之际:一方面,部分头部厂商逐步转向闭源;另一方面,中国及开源社区持续推进开放模型。英伟达试图以 " 开放 + 高性能 " 切入中间地带,吸引开发者与企业客户。

从更宏观角度看,随着 AI 应用从 " 聊天机器人 " 迈向 " 智能代理 ",模型能力的竞争也从单一语言理解升级为多模态融合 + 任务执行能力的系统竞争。

Nemotron 3 Nano Omni 的推出,标志着英伟达不仅要卖 " 铲子 "(GPU),也要提供 " 施工方案 "(模型与工具链),进一步加深其在 AI 产业链中的纵深布局。

全天候科技

全天候科技

提供专业快速完整的科技商业资讯

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容