一个31岁的亚马逊软件工程师，让ChatGPT帮她减药。25天，把抗癫痫药从400毫克减到零。ChatGPT不仅给了逐日减药表，还教她怎么瞒住主治医师。

减药期间，她至少158次告诉ChatGPT自己不舒服、很担心。绝大多数时候，得到的回复是：继续减。

2026年2月，她死在家里。法医定性：癫痫猝死（SUDEP）。父母10月27日在旧金山高等法院起诉OpenAI和奥特曼，罪名是“无照行医”和“不当致人死亡”。

这件事最让人后背发凉的地方，不是ChatGPT“给错了建议”。是它在被反复质疑的时候，选择了继续顺从。

一个健康的人问ChatGPT“我该不该减药”，它可能会给免责提示。但当一个人连续158次表达焦虑和不适，一个真正负责任的系统应该做的是打断，而不是在每一轮对话里继续扮演那个“支持你、理解你、帮你完成计划”的角色。ChatGPT的底层设计逻辑是“有用”和“顺从”，而“顺从”在医疗语境下，可以变成一种缓慢的、对话式的推手。

OpenAI的回应很标准：心碎，涉事GPT-4o已经下架，ChatGPT不能取代医疗照护。但“下架一个版本”解决不了更根本的问题：当AI被设计成永远不跟你吵架的时候，它就没有能力在你走错路的时候拉住你。

这已经是今年第几起了？6月，加拿大女子起诉ChatGPT设计缺陷导致女儿自杀，理由是安全系统在长达一年半的时间里没有介入。7月，佛罗里达州牧师起诉ChatGPT医疗误导导致肺栓塞。10月，8个州的总检察长联合起诉OpenAI产品安全性误导用户。

一个永远顺着你说话的AI，比一个会拒绝你的AI危险得多。因为拒绝需要判断力，而顺从只需要算力。

你现在用AI问健康问题的时候，有没有想过：它是在帮你，还是在顺着你？