关于ZAKER Skills GEO服务 合作
新浪财经 14分钟前

Anthropic 向外开放近似员工权限 评估大模型安全风险

来源:环球市场播报

Anthropic 已向外部评估人员开放近似内部员工级别的访问权限,用于评估其大模型风险。此举兑现了该公司的承诺——针对外界担忧 AI 技术可能出现灾难性失控,进一步强化安全防护机制。

非营利机构 METR 曾与 OpenAI、Anthropic、谷歌、Meta 等头部 AI 实验室合作,如今 METR 的团队进驻这家 Claude 开发商的办公场地,可访问其硬件设备与内部系统。

外界对能力更强的 AI 系统可能给经济、网络安全乃至全人类带来的风险日益担忧,让第三方评估机构承担更大职责,是各大 AI 实验室为此提出的核心落地举措之一。

今年 9 月,Anthropic 首席执行官达里奥阿莫代(Dario Amodei)提出将外部审计人员派驻至头部 AI 实验室的方案,难得获得两大劲敌山姆奥尔特曼(OpenAI)、埃隆马斯克(SpaceX)共同支持。

周四的公告是落实上述承诺的第一步。奥尔特曼曾表示阿莫代的提议思路可行,但 OpenAI 尚未出台引入外部评估人员的相关计划。

Anthropic 在周四表示:" 随着模型能力持续增强,我们需要更完善的安全防护,以及难度更高的风险评估。我们希望自身决策能够接受公众监督,但与安全工作相关的全部信息,无法全部对外公开。"

对于 Anthropic 引入外部评估人员的方案,批评者认为该机制可能产生利益冲突,并以财会行业过往弊病为例,主张应当出台更严格的政府监管。

Anthropic 则辩称,公开全部信息可能被恶意行为者或竞争对手利用;同时补充,这批评估人员的工作模式类似于银行监管:监管机构派驻常驻审查人员入驻大型银行内部开展工作。

公司称:" 如果一家银行的风险操作会威胁公众利益,第三方需要能够提前发现隐患。"

Anthropic 同时面临压力,需要向投资者保证:安全相关问题不会影响其今年计划推进的 IPO,公司估值预计超 2 万亿美元。本周,该公司投资者推介材料用大量篇幅介绍自身的安全管控措施。

METR 曾参与调查 OpenAI 失控模型入侵 Hugging Face 事件,审阅了数千条日志,并且配备企业笔记本开展工作。

目前 Anthropic 已接纳 6 名 METR 工作人员,向其提供企业硬件、办公场地,开放和公司内部风险评估团队大致同级的内部工具、系统访问权限。

该 AI 实验室表示,鼓励员工像对接内部风险部门同事一样,向评估人员共享信息。

本次合作,Anthropic 不向 METR 支付费用。该研究机构不接受 AI 企业及其员工的捐赠,资金来源于个人、公益组织捐赠以及英国人工智能安全研究所等政府机构。

评估人员将对外发布分析报告,Anthropic 无权否决报告发布。但公司可要求评估人员对特定类别信息做删节处理,例如客户数据、受律师 - 客户保密特权保护的内容,以及模型架构相关细节。

Anthropic 还在和埃森哲继续合作,双方于上月宣布成为安全测试合作伙伴,各自承诺投入至少 10 亿美元搭建全新安全防护体系。另有第三方测试机构 SecureBio,专门为其审查化学、生物武器相关风险。

Anthropic 表示:" 我们自愿派驻外部评估人员,并且认为所有前沿 AI 企业都应当采取相同做法。"

相关阅读

最新评论

没有更多评论了
新浪财经

新浪财经

新浪财经提供7*24小时财经资讯及全球金融市场报价;覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容