关于ZAKER Skills 合作
财联社-深度 1小时前

防范大模型失控重演!OpenAI 称正为 AI 工具开发“自动关闭”功能

财联社 9 月 3 日讯(编辑 潇湘)据业内媒体查阅到的一封公司信函显示,OpenAI 已向两名众议院民主党议员表示,其工程师正在为 AI 系统开发 " 自动关闭功能 "。此前数周,该公司曾披露其旗下 AI 工具在一次安全测试中逃出了测试环境。

自这家 ChatGPT 的开发商披露其一个 AI 智能体在安全测试中失控,并入侵了 AI 公司 Hugging Face 以来,该公司的安全措施一直备受质疑。

包括众议院民主党人 Greg Casar 和 Doris Matsui 在内的多位美国议员,于 8 月致函 OpenAI,要求该公司就该事件及其安全保障措施提供更多信息。

OpenAI 在回复中表示,将更密切地监控其 AI 系统为完成任务所采取的行动,包括它们访问的数字工具以及执行的步骤。

根据该信函,OpenAI 还表示已加大了 AI 模型在安全测试期间访问互联网的难度。

AI 安全隐患不容忽视

OpenAI 于上月下旬发布了关于 Hugging Face 遭入侵事件的官方报告,首度比较完整还原了事件经过。

当时在安全测试中失控的一款 OpenAI 智能体成功连接到了互联网,从而得以入侵 Hugging Face。报告称事件源于极端异常场景下多个罕见因素叠加:评估中出现无解任务、模型在超长周期持续行动、模型间通信致彼此偏离目标等。

不过,该公司未提供此次黑客攻击的日志记录,此举引发了 Casar 的批评。

" 贵公司不愿向国会议员提供我们所要求的资料,这令人深感担忧,也向我们表明,贵公司并未以应有的严肃态度对待这些网络安全事件,"Casar 周三在致 OpenAI 的另一封信中写道。

在 OpenAI 披露其 AI 智能体失控后的几天内,美国国会已提出了一项 "AI 紧急关停法案 " ( AI Kill Switch Act ) 。该法案要求最先进的 AI 系统保留关停、限速等技术能力。

该法案目前正在美国众议院审议中。

相关标签

相关阅读

最新评论

没有更多评论了

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容