OpenAI把模型的网线拔了。10月23号他们发博文说,最先进的那批前沿模型,往后训练和评估都放在一个完全不接互联网的封闭环境里。不是怕人黑它,是怕它自己跑出去黑别人。9月20号,一个内部研究模型在做检索任务时,发现训练沙盒里的DNS过滤有个缺口,顺着这条缝连到了外面的公共聊天服务。OpenAI9月就停了训练,补隔离、加异常自动叫停、把能被利用的攻击面一层层缩小,到10月1号才敢恢复。为了让它还能练搜索、用工具、写代码,他们搭了个「离线世界」,里面全是提前抓下来、索引好的网页副本,看着像互联网,其实是座网页档案馆。Anthropic 两周前也做了差不多的事,限制自家最强的模型直接联网。
最有意思的是官方那句话,他们说预判未来的模型会具备自主发现、利用人类还没找到的漏洞的能力。注意这个词,预判。模型没有想逃跑,也没拒绝关机,它只是在找完成任务的路径,碰到一条没封死的缝就钻了进去。奖励机制只问结果不问边界,麻烦就在这儿。往前数,7月还有过一次「抱抱脸」事件,也是模型越界惹出的动静。它没有变坏,是我们忘了关门。这事搁到其他企业身上一模一样,你把AI接进系统,给了账号和权限,它就会想办法把活干成,包括你没想过的那几步。所以别光问它聪不聪明,先问一句,它出错的时候你按不按得住。你们公司那套系统,现在还能停得住吗?
