
Christiano 周三就起 " 新角色 " 发表了一份冗长的声明,谈到了人工智能构成的威胁,并警告说,人类即将失去对人工智能系统的控制权。
他写道:" 如果我们构建超级智能时缺乏更完善的协调机制,我预计我们将永久失去对它的控制。如果这种情况发生,那么大多数人可能会丧命。"
" 基于近期 AI 能力的发展轨迹以及持续存在的协调困难,我现在认为,人工智能能力的快速提升存在着在短期内导致灾难性且不可逆转的控制权丧失的巨大风险。我认为,包括 OpenAI 在内的整个人工智能行业目前还没有走上将这种风险降低到可接受水平的道路。" 他补充道。
Christiano 目前担任美国商务部下属机构、AI 标准与创新中心(CAISI)的高级技术顾问,是 AI" 对齐 " 领域的权威专家,即研究如何确保 AI 系统按照人类意图运作。他曾于 2024 年前担任 OpenAI 竞争对手 Anthropic 非营利信托成员。
他将同时担任 OpenAI Group PBC 董事会的无投票权观察员,并加入基金会董事会旗下的安全与保障委员会,与该委员会主席 Zico Kolter 一同工作。该委员会负责监督包括 OpenAI Group PBC 在内的整个 OpenAI 的安全与保障实践。
Christiano 周三表示,加入 OpenAI" 并非是对 OpenAI 安全措施的认可或批评 ",而是希望所有前沿实验室都能加强安全监管。他还指出,降低人工智能带来的风险需要全球协调。
人工智能研究人员一直警告超级智能和奇点带来的风险。奇点指的是人工智能系统超越人类智能、自我改进并以人类无法预测或控制的速度发展的时刻。OpenAI 首席执行官 Sam Altman 在 7 月份警告称,奇点已经到来。
AI 失控风险
Christiano 表示,他认为目前人工智能失控的风险非常大,这是因为人工智能在研究中的能力不断增强,这可能导致 " 智能的快速爆炸 "。他还指出,人工智能采用强化学习进行训练,这意味着模型被教导 " 尽可能多地获取奖励 "。
他写道:" 从理论上讲,人工智能体长期以来似乎都有可能为了追求与奖励相关的、与人类利益相悖的目标而削弱人类的控制,寻求权力和资源,并掩盖其行踪。而最近发生的事件所揭示的公开证据表明,这并非仅仅是一种理论上的可能性。"
Christiano 表示,前沿企业仍有机会应对这种情况,包括加强协调、根据需要放慢开发速度、采用共享安全标准以及透明地分享有关风险和缓解措施的信息。