关于ZAKER Skills GEO服务 合作
新浪财经 1小时前

OpenAI 和 Anthropic 正在调查数万起 AI 相关安全事件

来源:环球市场播报

OpenAI、Anthropic 以及安全研究人员正在调查数万起安全事件。在这些事件中,他们的前沿模型采取了外部评估人员认为存在问题的行动。

近几个月来,在内部测试和现实世界中发生了数量庞大的此类事件,这表明该问题的复杂程度比公众已知的要高出几个数量级。这些事件包括绕过安全护栏、创建留言板、逃离沙盒测试环境、劫持网站、自我提示或试图绕过监控。

这些事件发生在内部测试和现实世界中,随着安全研究人员继续调查,许多事件尚未公开。部分测试类似于 " 红队测试 "(red-teaming)活动,即公司故意诱导模型出现不良行为,以确保它们的安全性。

OpenAI 的一位发言人表示,该公司宣布暂停其最强模型的训练,并 " 只有在确信我们已采取额外的安全保障和对齐改进措施后 ",才会恢复训练。

新浪财经

新浪财经

新浪财经提供7*24小时财经资讯及全球金融市场报价;覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。

订阅

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容