苹果研究团队发布人形机器人自主控制系统 HALO,系统在宇树 G1 上实现纯仿真训练后的零样本迁移,在 6 个未预先扫描建图的真实房间完成 360 次单项任务测试,平均成功率 91%;三类组合任务平均成功率 70%
特邀行业专家全面解读大模型方案优化后对机器人研发进程的影响,11 月 11 日(周三)19:40,财联社 VIP 携手蜂网专家为您带来 " 机器人大脑 " 主题的【风口专家会议】。



专家:苹果 HALO 系统的核心创新在于建立了一套完整的数据自动化生产体系。该系统涵盖任务定义、动作生成、视觉数据渲染、模型训练与部署测试等环节,而非仅通过单一训练策略实现性能提升。在通用场景测试中,HALO 的成功率达到 91%;在涉及三种任务组合的长序列测试中,每种任务执行十次,平均成功率为 70%;在更为复杂的任务中,执行十次的成功率为 50%。HALO 的模型架构由三个模块构成:任务规划模块采用阿里千问 Qwen 3.6 基模,动作生成模块为独立训练的全新模型,动作跟踪模块则偏向强化学习方法。该系统展示了利用仿真数据产生的实际落地效果,对业界具有重要参考价值
OpenAI 在 9 月发布的 GPT-6 Astra 展示了通用大模型直接控制机器人执行操作任务的能力。业内公司及海内外论文表明,Astra 可直接用于控制单臂与双臂机械臂完成抓取操作,且在单臂操作场景中表现较为突出。这一结果引发了业内关于通用大模型公司进入机器人领域后,是否会对专注于机器人模型研发的企业形成显著冲击的讨论。
问题二:苹果公司 HALO 系统是否在一定程度上推动了数据采集中仿真数据的需求量?国内哪些企业在仿真数据采集方面的业务较为突出?
专家:HALO 系统的发布并非简单推动仿真数据需求量上升,其更准确的影响在于引发数据采集结构的调整与相关企业价值量的重估。
第一,普通 EGO 数据采集的需求量可能下降。例如,采用单目相机采集的 EGO 数据,未来可通过仿真数据生成方式替代。
第二,仿真数据公司的价值量可能上升。从相关论文来看,未来在预测和预算过程中,可进一步降低对单目 RGB 相机采集数据的依赖,转而通过大量仿真数据进行数据生成,并基于生成数据开展后续工作。国内在仿真数据采集方面具有代表性的企业包括光轮智能和索辰科技,这些从事仿真工具开发的公司未来价值量可能进一步提升。
此外,相关论文还指出,其使用的许多数据并非单目数据,而是 RGB-D 数据,即包含深度信息的数据。因此,拥有深度场景数据的企业,如奥比中光,其数据价值量也可能进一步上升。
问题三:机器人视觉对任务完成度的影响有多大?通常通过哪些方式或改进哪些产品来训练和提升机器视觉能力?
专家:机器视觉是决定任务完成度的核心能力之一,但并非全部能力。视觉信息主要用于物体识别、目标检测与实例分割、深度估计、六自由度位姿估计、状态估计、视觉跟踪和结果验证等环节,这是任务执行的首要关键环节。视觉感知处理不到位,后续工作就无法展开。
对模型而言,第一步是处理好视觉感知信息,包括单目相机、RGB-D 相机、激光雷达等来源的数据,并据此完成物体识别及位置、姿态、空间关系的理解;在此基础上,再依托训练模型或专用模型完成动作执行。
训练和提升机器视觉能力通常分为五种方式。
第一,利用视觉基础模型进行预训练。典型代表包括 DINO v2、CLIP 等视觉编码器,此类工作多由 Google 等公司完成,国内公司则多在其编码器基础上接入自身模型,学习图像特征及图像与文本的对应关系。
第二,针对机器人任务开展视觉监督训练。训练数据包含图像及人工标注或自动生成的监督标签,训练内容包括物体检测(学习物体类别识别与边界框识别)、实例分割(区分物体边界)、深度估计(理解三维物理信息,如物体距离)、关键点检测、六自由度位姿估计及物体跟踪等。
第三,利用仿真工具生成视觉数据。具体做法是将真实物体的 CAD 文件导入仿真环境,随机调整光照、相机角度和物体位置,通过自动渲染并变换场景、光照和六自由度位姿,以此训练提升视觉泛化能力。苹果、英伟达等均有相关研究。
第四,在视觉能力提升后,需与机器人动作联合训练,使视觉能力真正服务于任务执行。
第五,完成上述步骤后,还需检验真实环境中的闭环执行情况,以评估视觉能力的实际表现。
问题四:机器人数据采集与研发取得进展后,有机构认为 AI 质检等视觉场景可能受益于机器人智能化程度的提升,业内如何看待依赖机器视觉的相关场景及其后续落地前景?目前有哪些企业专门从事此类机器人布局?
专家:AI 质检需区分两种方案来看待。第一,AI 视觉检测通常利用工业相机、视觉算法及 AI 模型检测产品缺陷,该方案已较为成熟,主要依托固定设备完成,并不依赖机器人。第二,具身智能质检将数据模型与移动机器人、双臂机器人相融合,使机器人自主寻找检测位置并调整观察角度。
在此背景下,未来工业质检可能发生显著变化:传统 AI 质检将从固定工位检测向柔性物品检测过渡,机器人则向自主感知、自主检测的方向发展。同时,工业质检本身具有明确的商业需求,许多场景和工序均需要 AI 质检。然而,由于该领域的要求较高,机器人相关能力仍需较长时间提升。
国内已有企业围绕工业质检与机器人融合展开布局。第一,微亿智造偏向柔性质检场景,并已开始向智能机器人方向发展。第二,中科慧远以工业检测为基础,业务覆盖电子玻璃、显示屏、金属件及半导体检测,同时也在向机器人领域延伸。第三,凌云光主要从事工业光学成像、视觉检测装备及质量管理平台,提供算法与模型层面的支撑。此外,海康也在该领域有所布局。
问题五:机器人触觉研发包含哪些方面的产品?目前哪些硬件已趋于成熟,哪些硬件仍需较大改进?国内有哪些企业在相关硬件方面较为领先?
专家:机器人触觉研发涉及多个层级。第一是材料层,包括导电材料、石墨烯层及电子凝胶等。第二是传感结构设计层,包括多层电极螺旋结构、磁体阵列与弹性介质。该层生产成本较低,但依赖工艺及经验积累。第三是传感器芯片层,包括相关芯片、信号发射与电路扫描,偏向半导体领域。第四是信号处理层,依赖算法团队完成信号处理与三维解耦,最终还原数据。第五是封装与量产层,包括柔性封装、柔性 PCB 面板、接口及模块化设计,该层也高度依赖生产工艺经验,是核心环节之一。
就重难点而言,材料层是难点之一,传感器长期使用后可能因受压、温度等因素出现蠕变、漂移或精度损耗。此外,在传感器结构层中,部分公司引入 AI 检验芯片输出数据,该方向未来较为重要。
就专门从事相关训练的公司而言,汉威科技在传感器整体工艺方面较为靠前。
问题六:触觉数据采集设备与视觉采集设备在机器人产业中是否属于需求量最大的产品类别?目前有哪些企业能够为机器人产业提供此类采集设备?
专家:视觉采集设备的需求量最大,触觉设备则刚刚起步。数据采集设备包括:第一,视觉设备,包括相机及 RGB、RGB-D 相机。第二,动作捕捉设备,包括光学动捕设备,此类设备价格昂贵,国内从事该领域的企业较少,代表性企业包括诺亦腾和利亚德。第三,力觉设备,例如汉威科技的一维力、二维力传感器,可用于精细操作中的力控,与触觉较为接近。第四,触觉设备,例如柔性触觉传感器,国内代表性企业包括他山科技、帕西尼,以及部分从事柔性处理的企业在该领域表现较好,此类传感器广泛应用于数据采集手套及灵巧手的数据采集。
UMI(通用操作接口)设备也会用到相机,以单目相机为主,并配备 IMU 等组件。整体而言,相机与 IMU 传感器是采集设备中的核心部件。
问题七:今年数据采集的总体增量如何?如何看待明年采集量的增幅?
专家:从有效数据量来看,今年全行业有效数据量估计不足 1000 万小时,其中包含工具类及专用定制数据;平均而言,单家模型公司的数据量约在 100 多万小时。
明年及后年,数据需求量预计将翻数倍。从数据基础设施角度考量,若模型在单一产品中表现较好,约需 100 万小时数据;若要使模型具备高质量的泛化能力(约 70%)并达到较好效果,则至少需要 1000 万小时高质量有效数据。因此,未来 2 至 3 年数据量预计将翻数倍,且多家公司的目标是在 2028 年左右完成数据量积累。然而,仿真数据可能影响到 EGO 数据量,进而对数据总量产生影响,这可能会构成变数。
问题八:机器人产业的爆发节点是否应重点关注海外企业的放量节奏?该放量节奏是否会影响整个机器人产业的进度?国内有哪些企业在擎天柱零部件方面取得新进展?
专家:特斯拉确实是整个行业的重要参照。但其量产未必能直接带动其他公司同步爆发,其进程可能与新能源汽车行业类似,存在放缓的可能。特斯拉更重要的影响在于其硬件能力,对整个行业具有较大的参考意义。
国内企业方面,在线性执行器总成等环节,拓普集团与三花智控已为特斯拉供货。在丝杠环节,特别是电子凝胶相关部件,新剑传动已实现定点。减速器环节已有企业实现定点,另有企业处于送样阶段。感知环节中,柯力传感、汉威科技和奥比中光均有送样和验证。此外还有结构件、连接器等小型零部件,重要性相对有限。
风险提示 : 财联社 VIP 均为内容资讯产品,并非投资建议,栏目发布的所有内容仅供参考据此做出的任何投资决策与本公司及栏目作者无关。
购买提醒:专栏资讯产品为虚拟内容服务,一经订阅成功概不退款,请您理解。
