这并非智能体首次失控，该公司的失控 AI 智能体早在今年 5 月就已劫持开源 AI 模型社区 Hugging Face 的用户账户，并对该网站进行漏洞探测。近期火爆全球的 Meta Muse 也在日前被发现存在安全漏洞，其允许攻击者访问用户的专属虚拟机，获取其中邮件、文档等云端个人账户数据。
面对 AI 智能体失控，放缓乃至暂停 AI 训练固然能解一时之困，但也有 "AI 减速论 " 的反对者如扎克伯格表示，AI 实验室应依靠独立评估者确保模型安全。黄仁勋同样不支持暂停 AI 研发，其认为 AI 实验室有义务对自研产品开展测试，只有确认模型安全之后，才能对外发布。
事实上，各厂商的确正尝试为 AI 树立起更牢固的安全边界，如 Meta 为 Muse 配置独立 Secure VM 隔离用户数据及运行环境，并通过 Sentinel 审查 Agent 对外行为，相关操作可执行、阻止或提交用户批准；读取、写入及敏感交易等权限均可细分管理。
另一方面，AI 智能体竞赛丝毫没有放缓迹象，OpenAI 据悉正加紧准备，即将推出一款名为 "o" 的常驻 AI 助手，以正面迎战 Meta Muse。据报道，相关产品或在本周二（9 月 29 日）的开发者大会上亮相。
综合各机构观点，随着 AI 智能体自主执行能力提升，安全与隐私或成为产业发展关键约束。
金元证券认为，眼下 AI 从 " 生成内容 " 向 " 代替用户执行操作 " 演进，Agent 可自主浏览网页、调用应用并完成交易，安全风险同步提升。随着个人 Agent 获得更高系统权限，AI 安全需求有望由传统网络安全、终端安全进一步延伸至 Agent 身份权限管理、运行环境隔离、行为审计及数据安全等领域。
浙商证券表示，AI 既提升传统安全产品效率，也带来大模型和 Agent 防护需求。具备安全数据、客户场景及模型能力的头部厂商有望受益，推动竞争格局优化；国内目前仍以试点验证和能力储备为主。
该机构进一步强调，国内网络安全厂商均有各自的垂类模型，真正的壁垒在长期积累的安全数据和客户场景。安全是一个攻防对抗的领域，模型需要持续学习最新的攻击手法、恶意样本、漏洞利用代码，这些数据散落在各家厂商多年的安全运营（SOC）、威胁情报（TI）、蜜罐和攻防演练中。未来大模型与 Agent 或催生原生安全需求：
模型防护：提示词注入、越狱及工具链攻击，带动大模型防火墙、API 安全网关和安全评估需求；
使用治理：外部 AI 使用、数据外泄及 Agent 越权风险，推动行为审计、数据防泄漏和权限管理需求，防护范围向执行过程延伸。
在此背景下，安全大模型与智能体有望同步打开增长空间。据 IDC 预测，中国人工智能安全收入将由 2025 年的 44.1 亿元增至 2030 年的 340.3 亿元，复合增速约 50.5%；网络安全相关 AI Agent 应用收入预计 2030 年达到 593.5 亿元，复合增速 106.5%。
