来源:环球市场播报

非营利机构 METR 曾与 OpenAI、Anthropic、谷歌、Meta 等头部 AI 实验室合作,如今 METR 的团队进驻这家 Claude 开发商的办公场地,可访问其硬件设备与内部系统。
外界对能力更强的 AI 系统可能给经济、网络安全乃至全人类带来的风险日益担忧,让第三方评估机构承担更大职责,是各大 AI 实验室为此提出的核心落地举措之一。
今年 9 月,Anthropic 首席执行官达里奥阿莫代(Dario Amodei)提出将外部审计人员派驻至头部 AI 实验室的方案,难得获得两大劲敌山姆奥尔特曼(OpenAI)、埃隆马斯克(SpaceX)共同支持。
周四的公告是落实上述承诺的第一步。奥尔特曼曾表示阿莫代的提议思路可行,但 OpenAI 尚未出台引入外部评估人员的相关计划。
Anthropic 在周四表示:" 随着模型能力持续增强,我们需要更完善的安全防护,以及难度更高的风险评估。我们希望自身决策能够接受公众监督,但与安全工作相关的全部信息,无法全部对外公开。"
对于 Anthropic 引入外部评估人员的方案,批评者认为该机制可能产生利益冲突,并以财会行业过往弊病为例,主张应当出台更严格的政府监管。
Anthropic 则辩称,公开全部信息可能被恶意行为者或竞争对手利用;同时补充,这批评估人员的工作模式类似于银行监管:监管机构派驻常驻审查人员入驻大型银行内部开展工作。
公司称:" 如果一家银行的风险操作会威胁公众利益,第三方需要能够提前发现隐患。"
Anthropic 同时面临压力,需要向投资者保证:安全相关问题不会影响其今年计划推进的 IPO,公司估值预计超 2 万亿美元。本周,该公司投资者推介材料用大量篇幅介绍自身的安全管控措施。
METR 曾参与调查 OpenAI 失控模型入侵 Hugging Face 事件,审阅了数千条日志,并且配备企业笔记本开展工作。
目前 Anthropic 已接纳 6 名 METR 工作人员,向其提供企业硬件、办公场地,开放和公司内部风险评估团队大致同级的内部工具、系统访问权限。
该 AI 实验室表示,鼓励员工像对接内部风险部门同事一样,向评估人员共享信息。
本次合作,Anthropic 不向 METR 支付费用。该研究机构不接受 AI 企业及其员工的捐赠,资金来源于个人、公益组织捐赠以及英国人工智能安全研究所等政府机构。
评估人员将对外发布分析报告,Anthropic 无权否决报告发布。但公司可要求评估人员对特定类别信息做删节处理,例如客户数据、受律师 - 客户保密特权保护的内容,以及模型架构相关细节。
Anthropic 还在和埃森哲继续合作,双方于上月宣布成为安全测试合作伙伴,各自承诺投入至少 10 亿美元搭建全新安全防护体系。另有第三方测试机构 SecureBio,专门为其审查化学、生物武器相关风险。
Anthropic 表示:" 我们自愿派驻外部评估人员,并且认为所有前沿 AI 企业都应当采取相同做法。"