关于ZAKER Skills GEO服务 合作
新浪财经 41分钟前

OpenAI 安全员工离职批评公司文化:更强 AI 已不适合“边发布边修补”

来源:环球市场播报

OpenAI 安全员工 David Robinson 宣布离职,并公开批评公司在快速推进前沿模型开发时,没有为安全研究留下足够空间。他认为,随着 AI 系统能力不断增强,行业过去依赖 " 先部署、发现问题后再修补 " 的开发模式风险正在上升,AI 安全标准应该逐步向航空、核电等高风险行业靠拢。

Robinson 在 OpenAI 工作约三年半,参与制定公司的 Preparedness Framework,并负责或参与 12 次前沿模型发布的安全报告。他在离职文章中称,自己最担心的并不是单一模型或某一次安全事件,而是公司整体开发节奏越来越快,安全团队很难在一轮轮产品发布之间进行足够深入的研究和验证。

他重点批评了 OpenAI 长期采用的 " 迭代部署 " 思路。这一模式的基本逻辑,是先把模型逐步交给真实用户使用,再根据实际暴露的问题不断补充安全措施。Robinson 认为,这种方式在早期 AI 系统能力较弱时可以接受,但当模型开始具备更强自主行动、工具调用和长期任务执行能力后,一些错误可能无法再通过事后修补来承受。

因此,他主张未来 AI 开发需要采用更接近航空和核工业的安全文化,即在系统投入大规模使用前,就通过更严格的测试、冗余机制、失效分析和独立安全评估尽可能排除重大风险,而不是把真实世界部署本身作为主要测试环境。

Robinson 还认为,AI 能力发展的速度正在超过研究人员理解 " 对齐 " 问题的速度。所谓对齐,核心是如何确保越来越自主的 AI 系统持续按照人类设定的目标和约束行动。随着模型能够执行更复杂、更长期的任务,仅依靠传统模型评测和发布后的监控,可能不足以覆盖所有潜在失效方式。

他的离职发生在 AI 行业安全问题受到更多关注的背景下。近期 OpenAI、Anthropic 等公司的实验性系统都曾因安全控制失效或出现超出预期的行为受到审视,多名前沿 AI 研究人员也公开呼吁企业在开发更强系统时增加安全投入。

OpenAI 则为自身安全体系辩护。公司表示,会持续评估模型能力是否仍处于可以安全管理和保护的范围内,并会在必要情况下暂停训练或推迟模型发布。换句话说,OpenAI 并不否认更强模型需要更严格的安全控制,但与 Robinson 之间的分歧在于,公司现有的开发和部署机制是否已经足够谨慎。

因此,这次离职真正反映的并不只是 OpenAI 内部一次人事变动,而是 AI 行业目前越来越突出的核心争论:随着模型从聊天工具逐步变成能够自主使用电脑、调用软件并执行长期任务的 Agent,过去 " 快速发布、持续迭代 " 的硅谷开发模式,是否仍然适用于潜在后果越来越大的 AI 系统。

新浪财经

新浪财经

新浪财经提供7*24小时财经资讯及全球金融市场报价;覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容