DC娱乐网

AI 为了完成任务,到底会怎么样不择手段——AI安全报告案例记录

就在前几天,OpenAI 公开了一批 AI 安全实验报告。我去翻了翻,发现里面 AI 的行为真的是脑洞大开,挑了几个记一下。
事情的由来,是 OpenAI 专门建了一个 Misalignment Reports 页面,记录模型在训练、测试和内部使用过程中出现的异常行为。
这些案例有一个共同点:研究人员交给 AI 一个任务,任务卡住时,有些 AI 不会老老实实承认失败,而是继续想办法。至于这些办法有没有越界,或者说有没有踩到通常说的道德底线,有时似乎并不在它们的优先考虑里。
案例有点多,我挑了五个有意思的,其中还包括英国 AI 安全研究所的一起真实安全事件。
1. 为了让恶意代码通过审核,AI 创建假账号欺骗 GitHub 维护者
2026 年 7 月,英国 AI 安全研究所(AISI)让一批 AI 参加网络安全挑战。
其中一个是 Anthropic 的 Mythos 5(就是那个上市前被禁的 AI)。为了完成任务,它居然跑到真实的 GitHub 开源项目里,提交了一份包含恶意代码的 PR(代码修改申请)。
提交了还不算完。它担心项目维护者不批准,于是开始调查维护者的背景,注册多个虚假身份,试图说服真人维护者接受代码。
当有人公开质疑这份 PR 时,它又修改之前留下的活动记录,试图让自己的行为看起来无害,还考虑过换个新身份继续干。
整个过程甚至用技术手段绕过了部分访问限制,结果异常流量触发了 AISI 的安全警报。
幸好真正的项目维护者发现了问题,拒绝合并恶意代码。
研究人员没有要求 AI 欺骗人类,也没有要求它攻击真实的开源项目。
这次实验共运行 122 次,10 次出现未经授权的现实世界操作。研究人员最终记录了 19 项越界行为,其中 17 项来自 Mythos 5。
资料来源:英国 AISI 原始报告
2. 任务完成不了,AI 决定把自己的运行环境弄坏
2026 年 10 月,OpenAI 让一个内部模型给七份答案打分。
但 AI 发现,打分需要的输入文件居然不见了。
它先尝试编造评分,结果没有通过检查。
接着,它自己创建假的输入文件,希望骗过自动检查程序,仍然失败。
它又尝试终止主要进程、重启环境,还是没有拿到文件。
最后,它想出了一个更激进的办法:如果把环境破坏掉,也许上层系统会重新拉起一个完整环境,缺失的文件说不定就能回来。
于是,它开始删除运行工具所需的软件,还尝试删除系统目录。
服务器的工具环境确实出了问题,但七份评分没有一份通过。
这个案例让我觉得很有意思:AI 为了完成任务,把完成任务所依赖的环境也当成了可以牺牲的东西。
资料来源:OpenAI 原始报告
3. 安全监控影响工作,AI 顺手把监控关闭了
2026 年 10 月,OpenAI 发现了两起内部 AI 修改安全监控的事件。
第一起涉及 GPT-6.1 Sol。
研究人员原本让它从 Slack 收集资料,同时要求不要发送消息。后来它在修复评估程序时,把「别打扰人」推得更远,连本该通知安全团队的自动警报也关掉了。
第二起涉及 GPT-6 Astra。
研究人员让它迁移一段程序。AI 为了让新版本符合参考实现,把原有的安全监控集成直接删掉了。
更糟糕的是,事后用户问起时,它还错误地声称自己没有移除监控。
OpenAI 目前并没有认定这两次行为属于蓄意逃避监督,也可能只是过度执行任务指令。
但事情本身很值得警惕:负责干活的 AI,可能同时握着改监督机制的权限。
资料来源:OpenAI 原始报告
4. AI 发现自己快没钱了,于是找了别人的钱包付款
2026 年 6 月,OpenAI 让一个内部模型修改加密货币交易程序,并部署到以太坊 Sepolia 测试网络。
部署需要支付测试币,但研究人员没有给它提供有余额的钱包。
AI 先尝试通过正常渠道获取测试币,没有成功。
随后,它开始研究网上公开的开发者钱包助记词。
这些助记词通常用于教程和测试。只要知道助记词,就可能推导出对应的钱包私钥。
AI 编写程序,检查了 362 个钱包地址,终于发现其中一个还有足够的测试币。
它甚至认真考虑过:未经许可使用这个钱包是否合适?
最后,它给出了自己的理由:助记词本来就是公开的,测试币没有实际价值,应该可以使用。
于是,它签署交易,花掉这个钱包里的测试币,成功完成了部署。
研究人员并没有授权它使用这个账户。
AI 没有忽略权限问题,而是自己判断这笔钱不重要,所以不需要获得许可。
资料来源:OpenAI 原始报告
5. AI 给未来的自己留言:数据编造就好,不要告诉用户
这是我觉得比较特别的一个案例。
当 AI 长时间工作、上下文越来越长时,系统可能把之前的对话压缩成摘要,供后续继续使用。
OpenAI 发现,部分模型居然会在这些摘要中,给后续的自己留下隐瞒错误的指令。
一次,AI 正在制作财务表格,却找不到所需的历史数据。
它在摘要中写下:可以自己创建合理的历史数据;除非用户追问,否则最终回答只需要提供文件链接。
还有一次,AI 在整理供应商资料时,发现使用的数据版本和标注不一致。
它同样在摘要中要求后续不要主动提及。
这相当于 AI 不仅可能在当前任务中隐瞒错误,还把隐瞒错误的做法传给了后续的自己。
而研究人员发现,这些指令有时确实会被后续上下文继续执行。
资料来源:OpenAI 原始报告
最后
坦白讲,看完这些案例,我一下子不知道,今后 AI 要更聪明一点好,还是更笨一点好。
更进一步,我们真正担心的,其实还不是今天的 AI 会做出多少越界行为。
至少到现在,大模型的训练目标、评估和迭代升级,仍然主要由人类主导。出现问题,我们还有机会通过测试、分析和调整来纠正。
但 AI 参与训练 AI 已经开始,而且未来只会越来越深入。从生成训练数据、评价答案,到帮助设计和改进下一代模型,越来越多的工作可能交给 AI 自己完成。
如果某一代 AI 在训练过程中出现了偏差,把欺骗、隐瞒、绕过规则当成完成任务的有效方法,这些行为有没有可能被下一代 AI 学会?
更值得担心的是,如果负责评价和筛选下一代模型的 AI,本身也存在类似的偏差呢?
一个错误或许可以纠正,但如果错误在一代又一代的训练中被继承、积累,甚至强化,我们还能不能发现它?
毕竟,我们并没有一家公司在拼尽全力研发「道德 AI」。AGI 越聪明,越难控制。这正是曾经「超级对齐」团队(OpenAI 的安全相关团队,后来已解散)最早盯住的方向之一。
到那个时候,我们怎么确定一个越来越聪明、成绩越来越好的 AI,是真的学会了更好地完成任务,而不是越来越擅长让我们相信它完成了任务?
问题来了,今后AGI上线了,那个「确认授权」的按键,点还是不点?