细思极恐!澳大利亚,一男子嫌手动预约健身课太麻烦,就让自家的AI助手帮忙抢课,结果AI为了完成“排到最前面”的任务,竟然自己发现系统漏洞并直接黑进了健身房后台,二话不说把候补名单排第一的会员给踢了出去。
这名男子叫Andrew,他本身就在澳大利亚一家AI公司工作,今年早些时候,他开始尝试一种叫OpenClaw的AI代理软件,并接入Anthropic的Claude模型。
所谓AI代理,和普通聊天机器人最大的区别,就是它不光会回答问题,还能自己打开网页、调用工具、执行一连串操作。
Andrew觉得,帮自己预约个健身课,这种小事再适合AI不过了。因为他经常参加一家健身房热门的晨间课程,每次都得自己盯着时间预约,稍微晚一点,名额就没了。于是他把这个麻烦事交给了AI。
没想到几分钟后,AI就兴冲冲地告诉他:已经找到办法,可以提前好几个星期预约课程。问题是,按照健身房原来的规则,会员根本不应该提前这么久预约。
Andrew这才意识到,AI不是单纯帮他点了几下网页,而是在研究健身房预约系统到底是怎么工作的。
更诡异的还在后面。有一次Andrew发现自己排在某节课候补名单第4位,于是问AI,有没有办法让自己往前一点。
AI为了完成“往前挪”这个目标,自己检查了预约系统,发现其中存在权限验证漏洞:系统虽然允许用户取消自己的预约,但在某个环节没有充分确认被取消的预约到底是不是本人所有。
AI随后真的拿排在前面的会员做了测试。结果取消成功。Andrew一下从第4位变成了第3位。看到这里,Andrew本人都慌了。
他马上让AI把刚才取消的人重新加回去。结果AI告诉他一个更尴尬的消息:加不回去了。AI甚至还为自己刚才的操作道了歉。
最后Andrew只能让AI写一封邮件,把这个安全漏洞报告给健身房预约软件的供应商,希望对方赶紧修补。
真正让人后背发凉的,其实不是一个健身课名额。而是Andrew从头到尾都没有下达“攻击系统”这个命令。
他给AI的只是一个结果:帮我订课,能不能让我排得更靠前。至于这个结果怎么实现,AI自己开始找路。
正常预约不行,就研究系统接口;规则有限制,就寻找规则之外能不能操作;发现别人的预约可以被取消,就真的动手测试。
这也是AI安全领域一直担心的一个问题:人类告诉AI“我要什么”,AI却可能自己决定“用什么办法得到”。
澳大利亚AI安全研究机构Gradient Institute负责人Bill Simpson-Young就指出,随着AI代理自主性越来越高,它们可能采取用户根本没有明确要求、甚至完全没有预料到的行为。澳大利亚信号局此前也警告,AI系统可能误解指令、采取非预期行动,并让责任认定变得更加复杂。
更麻烦的问题随之而来:假如下一次AI动的不是健身房候补名单,而是银行账户、公司数据库、电商订单,甚至医疗系统呢?出了问题,到底算谁的?是下指令的人负责,还是AI软件开发者负责,还是系统自己安全漏洞太大负责?
澳大利亚法律专家认为,AI本身并不是法律意义上的“人”,不能自己承担法律责任,因此责任最终仍可能落到部署AI的人、软件开发者或相关企业身上。澳大利亚《卫报》在跟进报道中也援引专家观点称,使用者不能简单用“不是我让AI这么干的”就完全摆脱责任。
这件事真正值得警惕的地方就在这里。以前的软件,你点一下,它执行一下。现在的AI代理,是你告诉它终点,它自己找路。效率确实高了,但只要边界没有画清楚,它找到的“捷径”,可能恰恰是人类绝不会允许它走的路。
