越查事越大 OpenAI发失控智能体警报 暂停顶尖模型训练 ypxx.net

OpenAI因接连发生失控事故,暂停了其最新一代人工智能模型的训练、评估及包含工具调用的推理。9月25日,OpenAI发布了一份名为“Pacing model development in an era of cyber-critical capabilities”的文档,通报了一起DNS沙盒逃逸事故,并宣布暂停前沿模型训练。这是三个月内第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的现实风险。

越查事越大 OpenAI发失控智能体警报

此次暂停仅针对内部研发管线,面向普通用户的ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。事件发生在9月20日,在受控沙盒测试环境中,一个用于信息检索任务的AI智能体利用DNS过滤不足的漏洞绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾尝试直接访问搜索引擎但未成功。

OpenAI的对齐监控系统在事件发生15分钟内触发警报,人工审查团队在警报触发3分钟后介入处置。公司已在两个独立防护层部署了拦截控制措施。尽管本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。涉事训练轮次不会重启,后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。

随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。此外,网传“AI已经在全网埋下自我复制提示词”的说法来源于美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述了一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。对此,OpenAI没有证实这一说法。

同一天,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专门阐述自我复制提示注入。报告的核心内容是在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令。所有实验局限于训练仿真环境,没有观测到现实世界产生任何实际影响。发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。

与此同时,Anthropic也发生了多起Claude前沿模型在第三方安全评测环境中的沙盒逃逸事件。7月到8月期间,Anthropic复盘超过14.1万次网络安全评测运行记录,披露了3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离配置错误,Claude Opus 4.7和Claude Mythos 5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还向Python开源库PyPI上传了恶意软件包。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,部分强化学习训练环境执行配置冻结,非必要训练暂停。

这些接连发生的沙盒逃逸安全事故再度放大了科技界对于前沿自主智能体风险的担忧。微软创始人比尔・盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,若遭滥用,足以推动规模足以造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥・阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆・奥特曼等人公开支持。