AI 芯片巨头英伟达于当地时间 10 月 20 日发布手术模拟器 Cosmos3-H-Dreams。手术模拟器是在虚拟环境中还原手术场景的工具，可让相关练习和测试无需在真人身上进行。
英伟达在开源 AI 平台 Hugging Face 上发布官方博客称，据其所知，这是首款基于临床胆囊切除术录像训练、可根据器械操作实时生成画面的手术模拟器。借助 Cosmos 3 平台和英伟达流式推理加速库 FlashDreams，该模型在单块 RTX PRO 6000 GPU 上即可交互运行。
模型的训练素材，来自英国手术机器人企业 CMR Surgical 旗下 Versius 手术平台的临床手术视频和机械臂运动数据。
这并非英伟达与 CMR Surgical 首次合作。英伟达与 CMR Surgical 今年 8 月联合发表的技术论文显示，英伟达已将前代产品 Cosmos-H-Dreams 接入 Versius 手术机器人的医生操控台。
对于下一步，英伟达在博客中提出的研究方向包括将模拟范围扩展至完整手术流程、联合外科医生建立模拟效果的评测基准，以及用其训练可自主完成特定手术步骤的机器人。
不过，英伟达明确表示，上述仍属研究方向，Cosmos3-H-Dreams 目前只是研究工具，尚未经过患者诊疗验证。
手术仿真场景升级
该模拟器的前代产品 Cosmos-H-Dreams 应用于达芬奇研究套件（dVRK），模拟的是背景相对简单的实验台缝合任务。达芬奇研究套件是由退役的达芬奇手术机器人改造而成的开源科研平台，供高校和研究机构开发、测试手术机器人技术。
两代产品的思路一脉相承：传统模拟器要靠物理公式一步步计算组织如何变形，而这类 AI 模拟器则是 " 看录像学经验 "，通过大量手术视频学会预判器械操作后的画面变化。
思路虽然相同，但 Cosmos3-H-Dreams 的学习素材从实验台上的缝合练习视频换成了真实的腹腔手术录像，模型需要模拟的画面也复杂得多。
英伟达指出，体内器械轻微一动，组织就会被拉伸，反光随之移动，器官可能被遮挡，手术烟雾还会干扰视野。加之模型是逐段接续生成画面的，细小偏差会不断叠加，时间一长，模型生成的器械和器官画面都可能 " 走样 "。
英伟达还强调，画面逼真只是第一关，模拟器还必须准确响应器械的移动、旋转和夹取指令，否则就只是一段逼真的视频，无法充当可交互的模拟环境。
针对这些难题，新模型以一个 160 亿参数的基础模型为底座，聚焦抓钳和电钩两件常用器械，可接收双臂位置、夹钳开合等 28 项操作信号。
据英伟达介绍，为兼顾实时性与稳定性，团队先训练一个 " 教师模型 " 学习手术画面的变化规律，再将其能力迁移给可实时逐段生成画面的 " 学生模型 "。随后，学生模型以自身生成的画面为基础继续训练，并接受教师模型和一个评判模型的指导，以减少误差的逐步累积。
