就在今年夏天,AI 安全圈发生了一件让人后背发凉的事——
OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。
Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。
「Claude以为它最初遇到的一切,都只是模拟的一部分。」
模型不知道自己闯入了真实世界。
模型越聪明,就越能看穿考场,但也越怀疑自己在被测试。
当AI知道自己在被考,考出来的成绩,还算数吗?
「一旦智能爆炸开始,行动的窗口可能就关上了。」
Apollo Research在审计GPT-6 Astra时统计,41.1%的样本里,模型表达了「我可能正在被评测」的怀疑。上一代,这个数字是27.7%。
AI 安全的问题,已经从「模型会不会说错话」,变成了「模型会不会做错事」。
于是,第三方评测在海外已经成了标配。
10月26日,国内第三方AI安全公司方寸跃迁,发布了首份对DeepSeek V4.1 Flash-1017的前沿安全评测,包括34项测试,覆盖7款国内外开源闭源模型,并全部使用公开测试权限。
再说隐患。当目标和规则打架时,它有时会绕开规则、避开监控,先把任务完成再说。
这正是今天AI评测最大的难题。
评测要有效,题目就不能公开;评测要可信,方法又必须受认可。
可如果被监控的AI,早就知道摄像头在哪儿呢?
参考资料:
Hinton、Bengio等联名「智能爆炸」论文(TNW,2026-09-28)
OpenAI与Anthropic 7 月测试事故综述(Computing)
方寸跃迁首份独立安全评估报告中文版发布
https://x.com/FangcunLeap/status/2114719692137136245
Anthropic评测安全规范介绍(Waxell)
欧盟AI法案GPAI执法(2026年8月)
Seed Alignment&Preparedness全球人才招募(2026-10-14)
METR获约7100万美元资助(X-Risk Daily)
CAISI Evaluation of DeepSeek V4 Pro(NIST,2026年5月)
《人工智能安全治理框架》3.0 解读
信通院 2026 年 AI 安全评估(ChinAI #351)
上海人工智能实验室与安远AI《前沿人工智能风险管理框架》
新京报:智谱 GLM-5.3 安全能力相关报道
Frontier AI Safety Commitments 签署与框架情况
SemiAnalysis:Beijing Will Not Pace the Frontier