文 | 字母 AI
自 Hy4 Preview 发布以来，它最受人关注的地方就是全链路 RSI，这也是腾讯混元首个自己全程参与研发的模型。通过全链路 RSI 能给模型带来大幅性能提升。
不到两个月后，混元的 Frontier 团队发布了 Terminal-RSI。这次更有意思，它能通过 RSI，让一个模型超越自己原本的框架，实现自己本来不具备的能力。
就像你有一台微波炉，它的功能是给食物加热。加入 Terminal-RSI 之后，不仅能让微波炉原本的加热功能效果更好，你还能用它来看电视、听歌、打游戏。
以 Terminal-Bench 4.0 为例，这是当下最严格的 Agent 终端实操基准测试集之一。论文使用的基座模型，原本不具备跑这个测试集的能力，也就是 0%。
通过 Terminal-RSI，这个基座模型能达到 19.84% 的分数，和 GPT-5.6 Terra、Gemini 3.8 Flash 齐平。
还有一个细节也挺好玩的，论文所使用的基座模型是 Qwen3.8-27B，腾讯阿里也因此在 RSI 上达成了 " 合作 "。
论文自己也承认，这套 RSI 只在一个 27B 的模型上跑过，没有在更大的模型上验证，也只有三次评测、没有独立训练种子，所以它放到 Hy4 这种大参数量模型上会怎样，还能否实现 RSI，目前都还没有答案。
Terminal-RSI 是个啥？
Terminal-RSI 所训练的叫做终端 Agent。它跟普通的 Agent 不太一样，混元团队给它一个沙盒和一份任务说明，它要像工程师一样在命令行里查看仓库、安装依赖、修改代码、运行测试，最后看沙盒里的状态能不能通过验证。
论文表示，要想实现 RSI 通常会有两个难题。
第一个是反馈太慢。论文表示，在整个训练过程中，平均交互回合数在 50 到 117 之间浮动，明明第二步就错了，结果只有到最后才知道对不对。
第二个是没办法细致地区分对与错。论文提到，验证器里 11 条检查过了 9 条，但是这个结果，却很难在终端判定里体现出来。
就像打游戏，打掉水晶才算赢。你杀一个小兵给一份钱，很多人不推水晶、专门刷小兵，刷得是不亦乐乎，而且最后评分也很高，但问题是水晶不掉就赢不了游戏啊。
Terminal-RSI 的核心目的，就是为了解决这两件事。
Terminal-RSI 的流程是这样的：Base → RSR-1 → RPR-1 → RSR-2 → RPR-2，两个 " 重写 + 精炼 " 的循环，基座用的是前文提到的 Qwen3.8-27B，最终产物叫 Terminal-RSI-27B。
第一步 RSR（Recursive Self-Rewrite，递归自我重写）只更新 actor，也就是真正去执行任务的策略。
它的做法是：模型在各种不同的 harness 里尝试任务，只保留通过完整验证的成功轨迹。然后由模型自己充当规划者，把成功过程提炼成一份操作手册（runbook）。
这时候，有一个专门负责审查的 Agent，它只看题面和手册，检查格式、产物以及有没有把验证器答案或标准解泄漏进去。
通过审查后，模型拿着手册在全新的沙盒里重新做一遍，只有重做依然通过验证、且没有泄漏的轨迹才会留下。
最后做监督微调时，手册和审查对话都会被抹掉，只留下动作序列。
RSR 就像你打游戏开荒，死了八百回，终于有一把通了关。然后你把那把的录像导出来，天天回放，把每一步操作硬背成肌肉记忆。
下次再进本，你手自己就动了，脑子里全是通关那把的走位，想都不用想。
这就是 RSR 的本质，把 " 成功那一次 " 抠出来，写成笔记，照着死磕。打分的人没换，裁判也没换，规则还是那套规则，唯一的变数只有正在闯关的你。你抄的是你自己的满分卷子。
第二步 RPR（Recursive Policy-Refine，递归策略精炼）则是 actor 和 critic 一起上的强化学习（PPO）。
论文强调，重写之后，actor 偏好的动作变了，它会遇到的历史也跟着变，原来的 critic 就不一定估得准。如果直接把 critic 重置，等于丢掉已经学到的 " 什么样的局面更接近成功 "。
可话又说回来了，如果原样继承又不校准，旧的估计误差会混进优势值里。
比如你练着练着换了套新打法，旧录像这时候就不好使了，得请个分析师（critic）帮你分析，下一步应该怎么走才能过关。
但问题来了，分析师脑子里那套数据库还是你旧打法的，你现在这打法他根本看不懂。
RPR 的招数是你先原地站桩别动，让分析师拿你最近的战绩单独重新练 4 轮，让它理解你的新打法和新规则。等分析师回过味来了，你再跟分析师一起上分，边打边调。也就是所谓的 " 带着教练一起热身 "。
那么结果到底怎样？
Qwen3.8 这个只有 27B 参数量的小模型，只练了两轮，它在 Terminal-Bench 2.1 上的得分，就从 51.7% 升到 86.5%，在 Terminal-Bench 4.0 版本上从完全做不出来（0%）升到了 19.8%，四个测试的平均分从 20.7% 升到 50.6%，翻了一倍多。
Hy Frontier 回到混元主线
论文的一作有三位，分别是 Hy Frontier 的两个实习生杨竣尧和李宗夏，以及位于西雅图的腾讯研究科学家史玉成。
而这三个人此前也合作过，论文名为《T1：面向长时程任务的终端智能体强化学习》（T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks）。
这篇论文相当于是 Terminal-RSI 的 " 前传 "，讲的是怎么用强化学习把一个大模型练成 " 会真的在 Linux 终端里干活 " 的智能体。
姚顺雨来之前，腾讯做基础研究的主力是 2016 年成立的 AI Lab，姚星牵头筹建，2017 年请来机器学习学者张潼出任首任负责人。
然而根据《晚点》的报道，张潼带着很高的期待来，以为腾讯海量的业务和数据能成为学界拿不到的研究资源，结果进来之后数据依然拿不到，研究只能闭门造车，两年后失望离开。
此后 AI Lab 负责人换成张正友，2024 年 6 月再换成蒋杰。
混元同样也是如此，2023 年立项时项目组连一块 GPU 都没有，最后是从广告部门匀来了 2000 张，一半给预训练、一半给后训练。
首任负责人是张正友，他的研究方向是计算机视觉。第二任负责人是蒋杰，长期负责腾讯广告平台的产品技术管理工作，长期做大数据平台，擅长广告推荐。但是几乎都没碰过强化学习。
到了 2025 年中，团队转向打榜。受访者对《晚点》表示，" 活照常干，但大家心里都清楚，这么干下去不行 "。
直到姚顺雨加入混元，一切才有了转变。在 6 月的访谈里，姚顺雨提到，今天的 AI 有三块，Foundation、产品和 Frontier，要构建一个均衡的 " 三角形组织 "，因为 " 在我们今天所做的前沿探索不够多 "。
旧的研究机构 " 离模型太远 "，模型团队又 " 光顾着追榜单 "。
姚顺雨的解法是把研究直接搬进模型部门里面。AI Lab 并入大语言模型部，原来的研究员成为其中的 Frontier 方向，和预训练、后训练、评估、Infra 同属一个部门、同一条汇报线。
过去的做法是研究在 AI Lab、产品和模型在别处，两边靠协调沟通。现在的做法是 Frontier 与主模型团队放在同一个框里，层级也被压成 " 姚顺雨—方向负责人—研究员 / 实习生 " 三层。
Frontier 至此开始，也不再是一个独立于混元的实验室，7 月基础模型部成立后，它又被收进同一个部门，都向姚顺雨汇报。
虽然 Frontier 理论上 " 不设 KPI、不规定课题 "，但这条终端 Agent 加强化学习的研究线也不是那种 " 漫无边际式 " 的研究。
2025 年底，腾讯混元开始重点跟进 AI 编程，姚顺雨因此搭出了一个全集团共用的强化学习基础设施，让各业务能在上面训练自己的模型，再把数据回流给混元。T1 和 Terminal-RSI 做的，正是终端里的长程任务与强化学习。
再加上 Hy 4 Preview 本来就强调全链路 RSI，因此这次的 Terminal-RSI，就是 Frontier 对混元主力产品线的一次补强。
混元的研究和产品，不再分家。
Hy4 未来可期
Hy4 Preview 的全链路 RSI 可以细分为 4 个环节，数据策略、训练方法、评估体系、底层算子。前文提到，Terminal-RSI 的 RSR 和 RPR，前者所对应的就是数据策略这一环，而 RPR 提升的则偏向于训练方法。
Hy4 底座再强，终端长时程任务上的 " 完整成功 " 轨迹照样稀缺，而 RSR 能自己给自己造高质量训练数据，还顺手隔离了 benchmark 污染。
所以它对 Hy4 的意义是：把 " 偶尔能做对 " 固化成 " 稳定会做 "，尤其在调试、系统管理这种需要多步推理加工具调用的活上。
真正的大头在 RPR，它几乎完美符合 Hy4 所有的需求。
前文提到，RPR 是 " 带着教练一起热身 "，以适应新环境、新打法、新规则。自姚顺雨进入混元之后，模型主打的就是上下文，而这也意味着模型经常要面对各种新类型的任务。
很多大模型的评分很高，可它在实际完成任务上，总是差点意思。
因为骗分这活儿，本身就是个技术活。OpenAI 的报告里就曾提到，模型越强，越会 " 演 "。中间步骤、前置条件、中间产物它全都能给你搞对，一路刷出大量通过的检查点，看着跟真干成了似的，可最后那个要命的关键结果就是不对。
不推掉水晶就赢不了游戏。而姚顺雨又是个不关注榜单成绩，只在乎模型能不能完成任务的人。
2026 年 1 月的时候，姚顺雨评价 DeepSeek，说："DeepSeek 做得比较好的一点是，他们可能没有那么关注榜单的数字。DeepSeek 可能会更注重：第一，什么是正确的事情；第二，什么是自己能体验出好或者不好的。"
弱模型想骗分还没那本事，Hy4 则是强模型，它要是演起来，只会更像真的，那刷出来的过程分也只会更凶，所以这套 " 成功优先、过程分永远压不过满分 " 的规则，专治它这种病。
