关于ZAKER Skills GEO服务 合作
财联社-深度 13分钟前

Anthropic 兑现 AI 安全承诺 外部评估员获“员工级权限”审查模型风险

财联社 10 月 16 日讯(编辑 周子意)Anthropic 已向一家外部评估机构授予 " 员工级别访问权限 ",以评估其模型的风险,此举兑现了该公司加强安全措施的承诺,旨在防范人工智能(AI)技术可能失控并引发灾难性后果。

这家获得授权的评估机构名为 METR,是一家非营利组织,曾与 OpenAI、Anthropic、谷歌和 Meta 等顶尖实验室合作,如今已派遣团队进驻 Claude 模型开发团队办公室,并获得了 Anthropic 的硬件设备及内部系统的使用权限。

安全承诺

随着更先进的人工智能系统可能对经济、网络安全以及整个人类构成威胁,目前,第三方评估机构在应对日益增长的担忧方面扮演了更为关键的角色。

今年 9 月,Anthropic 首席执行官达里奥 · 阿莫代(Dario Amodei)与其长期竞争对手山姆 · 阿尔特曼(Sam Altman)、埃隆 · 马斯克(Elon Musk)达成罕见的共识,后两位首席执行官均支持他提议在领先实验室中引入外部审计员。

周四 Anthropic 的宣布标志着落实上述承诺的第一步。Anthropic 周四表示," 随着模型变得越来越强大,它们需要更强的保护措施和更复杂的风险评估。我们希望对所作决策向公众负责,但无法公开分享所有与安全工作相关的信息。"

Anthropic 还解释称,公开共享信息可能使恶意行为者或竞争对手受益,并补充道,其评估员将类似于银行监管机制,即监管机构会指派驻地检查员进入最大的银行开展工作。

该公司表示," 如果某家银行的风险行为可能威胁公众利益,第三方就会提前察觉这一点。"

此外,Anthropic 也面临压力,需向投资者保证安全问题不会影响其今年预计以超过 2 万亿美元估值进行的首次公开募股(IPO)。本周,公司投资路演中大量内容都用于阐述其安全实践。

METR 是什么组织?

至于 METR,它是调查 OpenAI 模型对 Hugging Face 发生黑客攻击事件的组织之一,曾审查数千条日志,并接收公司笔记本电脑。

Anthropic 现已聘用六名 METR 员工,为他们提供公司硬件、办公空间以及 " 可访问与我们自身风险评估团队大致相当的内部工具和系统 "。

Anthropic 表示,已鼓励员工向评估人员分享信息,就像他们会与从事风险管理的同事共享信息一样。

METR 也回应称," 我们已准备好与所有前沿人工智能开发者合作,向公众提供更充分的证据。"

后续,METR 的评估人员将发布他们的分析,Anthropic 无法阻止其发表。不过,某些类别的信息可以被要求删除,例如客户数据、律师与客户保密特权所涵盖的细节、以及模型架构相关的信息。

此外,Anthropic 还透露,目前仍在与埃森哲合作,后者上个月被列为安全测试合作伙伴,双方均承诺至少投入 10 亿美元以建立新的安全防护机制。

另一家第三方测试机构是 SecureBio,该公司负责审查企业面临的化学和生物武器风险。Anthropic 表示:" 我们正在自愿吸纳评估人员,并认为每一家前沿人工智能公司都应采取同样的做法。"

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容