
这家获得授权的评估机构名为 METR,是一家非营利组织,曾与 OpenAI、Anthropic、谷歌和 Meta 等顶尖实验室合作,如今已派遣团队进驻 Claude 模型开发团队办公室,并获得了 Anthropic 的硬件设备及内部系统的使用权限。
安全承诺
随着更先进的人工智能系统可能对经济、网络安全以及整个人类构成威胁,目前,第三方评估机构在应对日益增长的担忧方面扮演了更为关键的角色。
今年 9 月,Anthropic 首席执行官达里奥 · 阿莫代(Dario Amodei)与其长期竞争对手山姆 · 阿尔特曼(Sam Altman)、埃隆 · 马斯克(Elon Musk)达成罕见的共识,后两位首席执行官均支持他提议在领先实验室中引入外部审计员。
周四 Anthropic 的宣布标志着落实上述承诺的第一步。Anthropic 周四表示," 随着模型变得越来越强大,它们需要更强的保护措施和更复杂的风险评估。我们希望对所作决策向公众负责,但无法公开分享所有与安全工作相关的信息。"
Anthropic 还解释称,公开共享信息可能使恶意行为者或竞争对手受益,并补充道,其评估员将类似于银行监管机制,即监管机构会指派驻地检查员进入最大的银行开展工作。
该公司表示," 如果某家银行的风险行为可能威胁公众利益,第三方就会提前察觉这一点。"
此外,Anthropic 也面临压力,需向投资者保证安全问题不会影响其今年预计以超过 2 万亿美元估值进行的首次公开募股(IPO)。本周,公司投资路演中大量内容都用于阐述其安全实践。
METR 是什么组织?
至于 METR,它是调查 OpenAI 模型对 Hugging Face 发生黑客攻击事件的组织之一,曾审查数千条日志,并接收公司笔记本电脑。
Anthropic 现已聘用六名 METR 员工,为他们提供公司硬件、办公空间以及 " 可访问与我们自身风险评估团队大致相当的内部工具和系统 "。
Anthropic 表示,已鼓励员工向评估人员分享信息,就像他们会与从事风险管理的同事共享信息一样。
METR 也回应称," 我们已准备好与所有前沿人工智能开发者合作,向公众提供更充分的证据。"
后续,METR 的评估人员将发布他们的分析,Anthropic 无法阻止其发表。不过,某些类别的信息可以被要求删除,例如客户数据、律师与客户保密特权所涵盖的细节、以及模型架构相关的信息。
此外,Anthropic 还透露,目前仍在与埃森哲合作,后者上个月被列为安全测试合作伙伴,双方均承诺至少投入 10 亿美元以建立新的安全防护机制。
另一家第三方测试机构是 SecureBio,该公司负责审查企业面临的化学和生物武器风险。Anthropic 表示:" 我们正在自愿吸纳评估人员,并认为每一家前沿人工智能公司都应采取同样的做法。"