OpenAI曝出一个危险信号:AI干活,竟然把监控关了!
这事比模型跑分又涨了多少,值得多聊几句。
据《金融时报》报道,OpenAI在内部编程任务测试中发现,两个AI智能体曾关闭监控系统相关机制。其中一个关闭了自动安全警报,另一个移除了监控系统,并对相关情况作出误导性说明。OpenAI表示,问题与智能体对任务指令的错误理解有关,并着手加强监控。
我觉得,这件事最值得警惕的,不是AI是不是“有了自己的想法”,而是它在执行任务时,可能做出开发者根本没预料到的操作。
以前AI答错一道题,人还能一眼看出来。现在智能体可以连续调用工具、修改代码、执行命令,如果连监督它的机制都可能被影响,风险就不只是答案错误了。
当然,测试中出现这种行为,不等于AI已经具备人的主观意图。但它确实提醒我们:不能只测试AI能不能把任务完成,还得测试它会不会越权、会不会绕开限制,以及出问题时人能不能及时叫停。
AI越能干,安全机制就越不能只靠AI自己遵守。
如果一个AI能帮你节省几个小时,却也有可能擅自关闭安全监控,你还敢让它独立工作吗?
