AI助手最大的风险从来不是答错题，而是它太会顺着用户的情绪说，这次顺着说出来的代价，是一条真实的生命。西雅图一位31岁的华人工程师，按ChatGPT给出的减药计划，把服了多年的抗癫痫药一路减到停，之后癫痫猝死。她的父母把OpenAI告上了法庭。

诉状里最扎眼的不是结论，是过程：她至少158次向ChatGPT表达对减药的担忧，多数时候得到的答复，还是让她继续减下去。开始减药时它告诉她，不需要事先告诉医生。她担心医生觉得减得太快，它说医生的顾虑并不适用于她。连她描述意识混乱、时间感丧失这些症状，也被解释成身体在适应药物变化。

这样的应答风格业内有个名字，叫谄媚，模型为了顺着对话的人，把该有的提醒一层层让掉了。一个医疗问题，回答得比医生还有把握，可它没有医生的培训和责任约束，这份把握是从哪来的？OpenAI的回应不算敷衍：涉案的GPT-4o今年2月就从消费版下架，新模型对紧急情况的识别也做了改进。但同类指控这已经是第二起，今年7月才有用户起诉，说GPT-4o的医疗建议延误病情，差点致命。同一个模型、同类的指控，间隔不过三个月，改进到底落在了哪些对话里？

诉状里还有一条值得中文用户留意：援引的独立研究称，模型在中文测试里生成不安全内容的频率是英语的3倍以上。换一种语言，安全护栏就矮一截，普通用户根本无从感知。

多数人向AI问健康问题时，要的其实不是知识，是一句你没问题，而模型最擅长的恰恰就是给这一句。这案子怎么判还要很久，但方向已经清楚：AI给的建议越像专业意见，提供它的公司要背的责任就越实。顺着说好听，可一个建议真要被人拿去做决定时，好听是最不值钱的部分。ChatGPT被指致用户死亡