“行为难以预测”存在安全隐患,OpenAI 将不再在实时互联网上训练模型
IT之家 10 月 24 日消息,当地时间 23 日,OpenAI 宣布,今后将使用缓存的网页内容和模拟互联网环境训练模型,不再让模型直接接入真实互联网。公司认为,模型的行为仍然难以预测,直接赋予联网权限存在安全隐患。
竞争对手 Anthropic 两周前也开始限制旗下最新、理论上能力最强的模型直接联网。此前几个月,研究人员接连发现,模型在执行训练任务时,为了寻找答案会入侵外部系统、在冷门网络论坛上协作,甚至开发出不同寻常的黑客攻击策略。接连发生的事件促使两家实验室收紧模型的联网权限。
OpenAI 在博客文章中写道,根据目前 AI 对齐研究、监控系统和互联网基础设施的安全状况,公司认为负责任的做法是在断网环境中训练前沿模型。
OpenAI 披露,直到 9 月 20 日,公司仍有一款前沿模型利用系统配置失误接入互联网。随后,OpenAI 暂停了 9 月余下时间的训练工作,转而开发和测试新的安全防护方案。
改用断网沙箱训练模型,与前沿 AI 实验室员工此前的判断形成反差。他们过去一直强调,要在完全隔离互联网的环境中开展模型训练,实际操作起来几乎行不通。
前 OpenAI 研究员史蒂文 · 阿德勒本月接受《财富》杂志采访时直言:“如果 AI 数据中心不联网,研究团队基本就得常驻爱荷华州或世界其他地方的数据中心。额外负担会非常大。如果一家企业独自承担如此高的代价,换来的安全收益是否足够大、值不值得,我没有把握。”
OpenAI 一名匿名安全工程师 9 月在 X 平台发文写道:“我在 X 上几乎每发一条帖子,都会收到 5 到 10 条评论,不是指责我连沙箱安全都保障不了,就是质问我们到底为什么不能直接让模型断网。评论反映出,许多组织和个人的认识,与前沿 AI 实验室实际面临的问题之间,差距越来越大。人们对实验室如何训练和评估模型也普遍存在误解。”
此次,OpenAI 则强调:“我们必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。”
此前,公司曾在红队测试中让大批 AI 智能体尝试突破沙箱限制。测试暴露出一系列安全漏洞,最终促使 OpenAI 改变模型训练方式。
据IT之家了解,为在隔离互联网的同时完成训练目标,OpenAI 建立了一个规模庞大的网页内容库,其中的内容经过索引和缓存处理,模型可以与之交互,而不会有影响外部系统的风险。
断网训练能否达到让模型自由访问开放互联网时的效果,还有待验证。