美国人工智能公司 Anthropic 呼吁全球顶级 AI 实验室考虑放缓开发步伐，理由是 AI 系统正以如此迅猛的速度进步，以至于它们可能很快能够在无需人工干预的情况下自我改进，从而对社会构成重大风险。
该公司周四在一篇博客文章中披露了内部关于模型能力提升速度的数据，并表示，能够放缓全球 AI 开发速度 " 可能是一件有利于全世界的事情 "。
这篇由 Anthropic 内部研究所负责人及政策主管撰写的文章指出，当前 AI 模型进步似乎正朝着 " 递归式自我改进 " 的方向发展——即 AI 系统能够在无需人工干预的情况下自行提升。一些 AI 业内人士将这一门槛视为潜在的危险信号和巨大社会动荡的节点。
" 我们认为，世界若能拥有放缓或暂时暂停前沿 AI 开发的选项，以使社会结构和一致性研究跟上技术进步的步伐，这将是一件好事。" 文章还提议就如何潜在地放缓开发达成全球协议，并建立一个核查竞争对手是否遵守协议的机制。
Anthropic 最近完成了一轮融资，估值接近 1 万亿美元，并已提交机密文件启动公开上市流程。ChatGPT 制造商 OpenAI 预计也将很快提交 IPO 文件。
自成立以来，Anthropic 一直以 "AI 安全 " 作为核心理念。但长期以来，也有批评者认为，该公司的政策主张实际上是在借监管手段限制竞争对手的发展速度。
风险投资家、特朗普的非正式顾问 David Sacks 曾指责 Anthropic 的领导者推行 " 监管俘获议程 "。
还有人认为，Anthropic 对其自身工具危险潜力的警告也可被视为一种营销手段。这些怀疑论者指出，Anthropic 决定限制发布其强大的 Mythos 模型，是宣传其产品能力的便捷方式。
Anthropic 的领导者则表示，他们认真对待安全问题，并致力于推动更多关于风险的讨论。
宾夕法尼亚大学沃顿商学院教授 Ethan Mollick 评论称："Anthropic 的文章其中既有一些自我反思，也有一些营销成分，但更重要的是，Anthropic 真诚地表达了他们对未来 AI 发展的判断，而这些判断值得关注。"
Anthropic 的领导者，包括首席执行官 Dario Amodei，多年来一直警告 AI 可能带来的危险影响，并寻求广泛的社会协作来应对风险。Amodei 曾表示，AI 可能加剧不平等，并消除多达一半的入门级白领工作岗位。
Amodei 还警告说，他预计不久的将来会出现强大的 AI 系统，这些系统可能以不可预测的方式发展出破坏性倾向。
周四的博客文章还声称，Anthropic 研究所将与其他机构合作开展研究，" 帮助建立可信的放缓或暂停所需的系统 "。
文章表示，暂停或放缓只有在得到广泛遵守的情况下才有意义，这将需要一个核查机制来确保所有人都已停止。该公司将这一问题比作核武器条约——但承认制止作弊将更加棘手。
Anthropic 计划在未来几个月与政策制定者、研究人员和其他人士组织对话，帮助回答关于递归式自我改进和核查系统的问题：" 共同研究这些问题的窗口已经到来，AI 公司之外的人士也应参与到这一审议中。"
