
北京时间 11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨与混元团队研究员出现在 Reddit 的 r/LocalLLaMA 社区,做了一场两小时的 AMA(Ask Me Anything,随便问)。这是混元团队首次在开发者社区公开答问,共收到三百多条留言,话题从架构取舍一路覆盖到安全评测。
此前不到一个月,混元接连发布两款模型。11 月 4 日的 Hy4 首次跻身全球最强开源模型之列,在第三方评测机构 Artificial Analysis 的智能指数榜单上位列中国模型第二,在 Agent Arena 榜单上居开源模型首位。一周多之后发布的 Hy4 flash,定位为 " 日常工作的极致性价比模型 ",单任务成本仅为 Hy4 的二十分之一。
九个月,两次发布
从时间节奏看:
今年 2 月,混元重建预训练与强化学习基础设施,确立三项原则:能力体系化,不做偏科的模型。评测真实性,以真实任务而非榜单分数检验模型。性价比追求,让智能用得起、用得好。
此后平均每两个月迭代一个大版本,以 "preview 先行、正式版跟进 " 的方式,把真实使用中的反馈持续引入研发。
11 月 4 日,Hy4 发布,跻身全球最强开源模型之列。
一周多后,Hy4 flash 发布,单任务成本降至 Hy4 的二十分之一。
距离 2 月份的重建,只过去了九个月。
Hy4 与 Hy4 flash 的分工,对应着两条路线。前者扩大模型尺寸与数据规模,探索智能上限,后者压缩成本,让日常任务用得起。
团队在答问中确认,下一代 Hy 模型的规模 " 一定会进一步显著扩大 "。有开发者问及字节跳动和 Kimi 等公司正在推进 3T 甚至 5T 参数的超大规模模型,而混元仍在 700B 级,团队对此的回复是,Hy3 和 Hy4 已经表明,做得扎实的较小模型,往往可以胜过更大的模型,而且成本更低,过程当中学到的东西也更多。
产品线的另一端,Hy4 mini 已经在路线图上,35B-A3B 档位的 Flash-Lite 被确认在推进,更小的开源图像模型在考虑之中,视频模型也有了新消息。对于端侧视觉理解,团队的判断是激活参数约 30 亿的 A3B 模型,已能承担理解截图与图表并展开推理的任务。
路线图上还有循环式 MoE 与持续学习的位置,前者得到的回应是 "当然有可能,请持续关注",后者正在积极研究。支撑研发的训练基础设施也在迭代,Hyra 3.0 已在开发中。
取舍先于参数
被问到为何最终选择 MLA 而非 GQA,团队披露了一段反复权衡的历史。MLA 的计算强度明显高于 GQA,在推理 GPU 上做推测解码时,瓶颈会落在算力上。但相同的 KV cache 大小下,MLA 的模型质量优于 GQA。引入 DSA 之后,解码阶段的计算强度被降下来,权衡的天平随之倾斜。
Hy4 flash 的另几项设计,延续的是同一套取舍。SWA 将 KV cache 降至原来的四分之一,服务成本显著下降。配合把 64B Engram 参数卸载到主机内存的设计,128GB 以上配置即可流畅运行激活参数 12B 的模型。
有开发者列出一组稀疏度对比,Hy4 flash 不含 Engram 为 156B 总参数、激活 12B,激活比例 7.7%。Qwen3.8-Flash 为 4.8%,DSv4.1 低至 2.9%。更高的激活密度对智能有多重要,团队的回答建立在规模阶梯实验上:激活参数量固定时,提高稀疏度能提升计算效率。但保持总参数不变、单纯削减激活参数,模型质量会显著受损,因为激活参数量本质上决定了计算预算。
过于稀疏的 MoE 架构,在团队看来对推理并不友好,占用大量显存却无法充分利用算力。相同吞吐量下,完全可以运行总参数相同、激活参数更多的模型。至于端侧,则是另一套思路,架构要与边缘设备的 GPU 硬件更紧密地协同设计。
量化方案的回答里,down 投影因激活值存在离群点,对量化更敏感,会被分配更多比特,位宽依据 Hessian 敏感度选择。量化后路由器会随 QAT 一同训练以保持稳定,团队也更倾向全参数 QAT,理由是模型质量更好。这组回答,是整场答问里工程细节最密的部分。
最难的是过度思考
被问及后训练阶段最难改善的行为,回复只有四个字,过度思考。Hy4 追求智能上限,思维链过长是已知问题。解法带着产品闭环的色彩,把 Hy4 的长思维链蒸馏为高性价比的 Hy4 flash,再通过强化学习为后者确保较短的思维链。
有开发者以写作为由发问,称一个模型如果把事情解释得更易读,会是自己从 Qwen 3.8 Flash Next 转过来的重要理由。团队回应称创意写作与可读性非常重要,正在作为重点改进方向,还补了一句 " 有时候,一个好例子比五段文字更有帮助 "。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来 " 更像人类,少一些套路化表达 "。
对 Hy4 能否自主运行并发展出下一代模型,回应表示递归自我改进能力尚早,但已开发若干内部基准评估关键能力。被要求按 Levels of AGI 分级给 Hy4 定位时,团队成员给出的自评是 2.5 级。
技术问题之间,穿插着研发过程的回忆。从 Hy3 扩展到 Hy4 被形容为最困难的时刻,数据消融实验未达预期,训练开始时充满不确定性," 训练刚开始时,我相当紧张 "。最终结果在团队的回忆里则是," 感觉就像把筹码全押上,结果真的赢了 "。
把限制说清楚,也是一种开源
为负责任地开源,混元在训练中过滤了以漏洞利用和进攻攻击为主的网安数据,配合训练层面的拒答防护,并开展红队评估。有开发者质疑这会削弱防御方,限制逆向工程也伤及恶意软件分析与取证。团队给出的评估结论是,Hy4 的漏洞发现能力较强,漏洞利用能力相对较弱。过度拒绝则被承认仍是重要的改进方向。
llama.cpp 的适配正在推进,不久后会向社区发布。与 vllm、sgl 的合作也在深入。Hy4 与 Hy4 flash 已在 OpenCode、Claude Code 和 Cline 中被广泛使用,答复具体到项目和工具名。答问中途还有开发者插播实测,Hy4 flash 在其内部智能体编程与 PR 审查基准上成为首个满分模型,完成速度快于 Qwen 3.8 Flash Next、GLM 5.3 Flash 与 DeepSeek V4.1 Flash。
至于为何不公布 GPQA Diamond、SWE Bench 等常见基准成绩,团队的解释是这些基准推出较早,分数已经饱和,他们展示的是 Agents ’ Last Exam、ProgramBench 等更新的高难度基准。评测真实性原则,从内部信条变成了对外表态。
三百多条留言里,开发者关心的不只是跑分,真实任务表现、使用成本与生态适配被反复追问。开源模型的竞争维度,比榜单呈现的更宽。混元团队在两小时里呈现的优先次序是,先打牢基础,让模型在真实任务中更好用,再持续探索能力边界。
那些被亲口承认的未解问题,过度思考、创意写作、递归自我改进,构成了下一次迭代的路线图。九个月前,混元重建了预训练与强化学习基础设施。九个月后,两款模型与一场两小时的答问,构成了重建后的阶段性成绩。先把基础打牢,再探索边界。
剩下的,交给下一个版本。(本文首发钛媒体 APP,作者|AGI-Signal,编辑|秦聪慧)