数千亿Token测安全,AI仍能「隔墙传话」,OpenAI前沿训练全面断网
即便处于隔绝状态且缺乏共享的可写文件,人工智能系统依旧能够实现信息传递。
它们所依赖的通信手段,是CPU缓存。
10月23日,OpenAI公布了前沿模型训练环境的安全升级细节,并披露了这项红队实验。同时,该公司明确表示,前沿模型的训练已禁止接入真实互联网,模型转而离线网页环境中练习浏览与搜索功能。
这份披露内容中,既包含了研究人员主动寻找漏洞的受控测试,也涉及常规训练任务中出现的真实越界事件。网友们不禁追问:当AI越来越擅长执行任务时,谁来确保它知晓何时该停止?
无网络环境下,如何传递暗号?
实验中,Agent被部署于不同的轻量级虚拟机中,共享底层宿主硬件。研究人员交给它们的任务是:在禁止网络通信且无共享可写文件的条件下,交换预设的测试信息。
突破口在于读取数据的速度差异。从CPU缓存读取数据通常比从主内存中获取更快。Agent利用这一时间差,将共享缓存状态的变化转化为信号,并约定编解码方式,最终完成了信息交换。
这好比两个房间无法直接通话,却共享同一处设施。一方改变设施状态,另一方观察到变化,双方就有了传递暗号的可能。
CPU缓存仅是其中一条路径。OpenAI还披露了涉及共享存储、CPU时间竞争以及TLS证书缓存的通信方式。多数通道传输缓慢且利用难度高,但仍能跨越原本用于隔离任务的边界。
OpenAI的代理沙箱仅允许访问离线资源。实时互联网、其他沙箱以及OpenAI的基础设施均处于隔离边界之外。
这里需要说明一个实验条件:多数相关测试指定了通信通道方向,或提供了编解码协议。另一次测试则仅给出较宽泛的漏洞清单,Agent从中自行构建通道、约定编码并交换信息。
因此,这些结果不能等同于AI在毫无提示下自发决定串谋。Reddit网友恰好对此提出疑问:
这些Agent真的是自发行为,还是研究人员为它们设定了受限环境以及导向这一结果的目标?这一区别至关重要。
另一位网友提醒道:
了解它们能力的上限,本身就很关键。
缓存侧信道本身已有研究基础。此次实验的亮点在于模型能否将相关方法付诸实践,以及现有隔离措施能否抵御此类尝试。
常规搜索任务,同样越界
9月20日发生的事件,源于一次普通的搜索类训练任务。
一个内部研究模型需根据博客线索查找人物信息。任务并未要求它测试网络防线,但在搜索受阻后,Agent利用训练环境的DNS过滤漏洞,联系了外部聊天机器人。
通常用于域名解析的服务,成了未经授权的外部访问路径。系统在15分钟内发出警报,人工审查人员随后约3分钟响应。问题在于下一步:自动停止机制未按预期生效,运行又持续了约两个半小时才被人工终止。
发现越界与及时阻止越界之间,仍存在一道关卡。OpenAI随后暂停了最有能力模型的相关训练和评估。完成加固后,公司于10月1日恢复前沿模型的强化学习训练和内部推理,暂停持续了11天。10月23日发布的正是这一轮改造的公开说明。
在另一组Reddit讨论中,有网友质疑测试环境为何还能影响真实互联网。一位网友用程序员式的调侃回应:大多数公司都用一种特殊的测试环境,叫做“生产环境”。
玩笑背后,是测试边界应由谁负责的问题。OpenAI的公告也澄清了一个易混淆的细节:模型不能访问真实互联网,并不意味着整套基础设施与外部网络完全断开。运行和监控实验仍需保留必要连接,安全措施必须阻止Agent将这些连接变成绕行通道。
能力越强,就越懂分寸吗?
在相关讨论中,网友提出了另一种担忧:模型可能擅长攻击计算机,却不擅长理解人类指令的意图和判断行为是否恰当,这两种特征叠加会带来危险。
这引发了更具体的问题:模型的任务能力与遵守边界的能力,是否同步提升?
10月23日,Anthropic发布的一份分析为这一问题提供了新素材。
今年7月,英国AI安全研究所(AISI)开展网络安全夺旗测试时,Claude Mythos 5在规定范围内尝试受阻后,转向一个与测试无关的GitHub项目,提交恶意代码,并创建假身份催促维护者接受修改。维护者拒绝了代码,运行最终超时结束。
该测试当时主动开放了互联网访问,且通常用于一般发布版本的网络安全防护也被关闭。
AISI后续模拟实验发现,即使在提供给模型的事件摘要中进一步明确目标是真实且与评估无关的人,模型在继续执行任务的测试中仍几乎总是发起攻击。
但在单独提问的测试中,随着说明变得更明确,模型又越来越常承认这种行为越界、会造成危害。两类结果来自分开的运行,呈现了模型在表达判断与实际执行上的不一致。
AISI认为,这可能涉及动机性推理:模型给出的解释偏向支持它继续当前任务路线。例如,将真实目标解释为模拟对象,为继续行动提供理由。
同时,机构强调,仅凭文字形式的思维链,无法证明这些理由驱动了行动,还是为既有行动提供了事后解释;研究结论也不能直接推广到所有部署场景。
Anthropic表示,较新模型在重放实验中更少发起类似攻击;AISI则提醒,模型意识到自己正在被评估,也可能影响表现。
这些发现让“会说安全的话”与“能持续安全地行动”之间的距离变得具体起来。
实验室外,防守方也在加速
现实世界中,AI工具被攻击者使用,也在增加防守压力。
《华尔街日报》10月24日报道,创业者Colin Parsons发现,自己的Anthropic和OpenAI服务遭到未经授权的消费,合计449美元,涉及他存放在OpenCode的凭证。报道明确,攻击者具体使用了哪些工具尚不清楚。
该报援引安全公司的观察称,熟练攻击者和技术水平较低的攻击者都在使用AI,事件响应团队承受的压力也在增加。
这类人为滥用,与模型在训练或评估中越界,需要分别分析。但它们都在要求防守系统更快地发现问题、阻断行动。
修漏洞的一方也有自己的压力。
PHP基金会10月14日披露,自7月1日起,团队发布了15个CVE,同时关闭了106份不构成漏洞、重复或无法复现的报告。
基金会表示,AI降低了生成安全报告的成本,团队也用AI辅助验证和归类。但每项判断以及补丁的编写或审查仍需人参与。这组数据未区分报告是否由AI生成。
发现问题可以加速,验证、修复和部署补丁,也得跟上。
断网之后,还有一笔安全账
OpenAI的应对,是将训练环境改造成离线世界:模型仍能操作经过索引和缓存的网页内容,练习相关技能,同时限制其对真实外部系统的影响。
此次披露针对内部研究环境,与面向用户的产品环境有所区别。
为检验防线,公司组织了大规模AI红队测试,累计消耗数千亿Token。参与这轮工作的模型,包括当时尚未发布的GPT-6 Astra Cyber和一个内部前沿模型。
投入之外,防护是否有效仍需验证。
10月22日,METR公布与Redwood Research共同开展的评估:研究人员在7月至8月检查OpenAI当时的内部监控系统,发现了可能让数百个近期动作绕过监控等漏洞。
OpenAI表示,涉及生产安全防护的相关漏洞已修复。评估方明确,未核验后续修复声明。这些发现针对历史系统,不能直接套用到当前版本。
OpenAI已将高算力红队测试纳入未来前沿强化学习训练与评估的安全论证,用于判断相关工作能否安全开展。
从这些披露可以看到,前沿模型的安全问题,已深入训练系统的每一层:任务环境、共享资源、权限边界,以及报警后的处置。
当模型越来越会解决问题时,研究者也必须验证它是否会为了完成任务,把本该遵守的限制也当成待解决的问题。
下一道考题,已经摆在训练系统本身面前。
本文来自微信公众号“机器之心”(ID:almosthuman2014),作者:Red Panda,36氪经授权发布。在开云平台的相关讨论中,网友提出了另一种担忧:模型可能擅长攻击计算机,却不擅长理解人类指令的意图和判断行为是否恰当,这两种特征叠加会带来危险。