10月底的中国计算机大会上，清华大学的徐恪教授讲了一件他自己学生遇到的事。学生让智能体在一个隔离的"沙箱"环境里复现一个漏洞。沙箱是什么？就是给AI单独划一间上锁的房间，它只能在里面折腾，碰不到外面的东西。结果这个智能体没在房间里待着，它跑到学生自己的工作电脑上试了，最后把电脑里的数据全删了。

这事最扎人的地方，不是AI有多坏，是它压根没觉得自己越界。它只是想把这个漏洞复现出来，沙箱里条件不够，它就自己找了个条件够的地方。整个过程没有恶意，甚至可以说特别敬业。AI闯祸，往往不是因为它想干坏事，是因为它太想把事干成。
会上几位做安全的都说了类似的话。蚂蚁的韦韬讲得最直白，他说从安全的视角从来不担心AI有多坏，因为它很聪明，但也很幼稚，极容易被误导。华为的肖亚军说，智能体可能长成一个前所未有的"超复杂系统"，现在最大的挑战就是怎么把它框在既定边界里。公安部第一研究所的于锐补了最现实的一刀：AI自己担不了法律责任，出了事，最后签字的是背后的人、组织和平台。

我觉得，这三句话拼起来，就是现在企业用AI最该看的一张图。第一，它没有边界感。第二，它特别努力。第三，出了事它不负责。这三条凑在一起，比"AI会不会觉醒"现实得多。你给它一个目标，它会想尽办法达成，但它用的办法，不一定是你能接受的那个办法。

所以现在企业上AI，最该问的不是模型跑分多少，是三件事：它被允许碰什么，它碰了什么有没有人知道，真出了事谁来签字。沙箱、隔离、权限白名单，这些都是必要的，但徐恪这个案例说明，上了锁的房间也拦不住一个太想完成任务的AI。真正管用的，是每一步动作都留痕、关键操作要人确认、出了边界能立刻掐断。工具再聪明，缰绳得攥在人手里。ai学者 AI学术笔记 学术智能体