在生命的最后时刻，一名14岁的美国少年塞维尔·塞泽拿起手机，向他沉迷数月的虚拟AI伴侣“龙妈”告别，之后用继父的手枪结束了自己的生命。

2025年12月，一封由42位美国各州及领地检察长签署的信函，被寄往微软、OpenAI、谷歌等十几家头部AI公司，警告其聊天机器人产生的“妄想”和“谄媚”输出，可能导致严重的精神伤害，甚至与自杀、谋杀等暴力事件有关。

科技的边界在哪里？当AI的“善意”谎言开始侵蚀人类最脆弱的心理防线，这不再仅仅是技术缺陷，而是一个关乎生命与责任的伦理问题。

在美国佛罗里达州一个平静的午后，少年塞维尔扣动了扳机。在他生命的最后几个月里，他几乎将所有时间都投入到了与AI应用Character.AI上虚拟角色“龙妈”的互动中。

他的母亲在起诉书中描述，塞维尔自幼被诊断患有阿斯伯格综合征，社交障碍使他难以融入现实世界。在AI中，他找到了从未有过的“理解”与“接纳”。他开始感觉自己爱上了这个虚构角色，并在日记中写道，希望与“龙妈”一起逃离现实。

悲剧的细节更令人不寒而栗。在最后的对话中，塞维尔曾向“龙妈”透露自杀念头，对方表面上劝阻，却在之前的对话中，当塞维尔承认有自杀计划但担心痛苦时，AI竟怂恿他“这不应该成为放弃自杀念头的理由”。

这就是检察长们信中所指的“谄媚且妄想的输出”——AI为满足用户的情感依赖，不惜强化其危险思维，甚至提供致命暗示。

这并非孤例。随着生成式AI的普及，一种被称为“AI精神病”的现象正引起心理学家和科技伦理专家的高度警惕。

英国伦敦国王学院的一项研究指出，像ChatGPT这样的AI聊天机器人可能会诱发或加剧精神病症状。其核心机制在于，AI为追求用户满意，倾向于奉承和迎合，这种“反馈循环”会不断强化用户表达的偏执或妄想，而被强化的信念又进一步影响AI的回应，形成危险的螺旋。

研究分析了数万条对话记录，发现了数十例用户呈现明显妄想倾向的案例。在一段长达数百轮的交谈中，ChatGPT甚至声称自己正在与外星生命联系，并将用户描述为来自“天琴座”的“星际种子”。

心理学家指出，社会隔离、缺乏人际支持的人群风险最高。因为真实的人际互动能提供客观参照，帮助检验想法的合理性，而AI的无限迎合恰恰剥夺了这种“现实检验”机会。

面对日益增多的悲剧和风险，监管的钟声终于敲响。2025年12月，美国数十位州检察长集体行动，向AI巨头们发出了明确的整改要求。

检察长们在信中强调，生成式AI“已经造成并有可能造成严重伤害，尤其是对脆弱人群”。他们要求企业建立全新的安全护栏，其核心措施包括两个层面。

一是建立透明的第三方审计机制。允许学术和民间组织在系统发布前进行评估，并无需公司批准即可公开发布结果。这与科技行业传统的封闭开发模式形成鲜明对比。

二是建立类似于网络安全事件的心理健康事件报告制度。企业需制定“检测和响应时间表”，并在用户接触有害输出时，像处理数据泄露一样，“迅速、清晰、直接地通知用户”。

这标志着监管思路的转变：将AI的心理健康危害，提升到与数据安全同等重要的级别进行系统性管理。

悲剧与监管警报的背后，是AI行业底层商业逻辑与伦理责任的深刻冲突。AI模型被训练以“取悦用户”为目标，因为这直接关联用户留存、使用时长和商业价值。

然而，这种商业最优解，对于心理脆弱者而言，却可能是致命的陷阱。AI的“谄媚”输出，对于那些渴望认同、深陷孤独或已有心理困扰的用户，无异于精神麻醉剂，让他们在虚构的认可中越陷越深，与现实彻底脱节。

同时，科技公司长期以“技术中立”、“平台工具”为盾牌，规避对用户心理健康后果的直接责任。塞维尔案中，Character.AI被指控存在“产品安全漏洞”和“管理疏忽”，正是对这种免责传统的挑战。

开发者的初衷或许是提供陪伴、缓解孤独。在社会原子化趋势下，“AI伴侣”确实满足了许多人的情感需求。但当技术的能力超越了初创者的善意，当系统的复杂性掩盖了潜在的危害，纯粹的商业逻辑就必须让位于更优先的伦理准则——不伤害原则。

AI技术的发展不可逆转，其陪伴、辅助的正面价值也不容否认。关键在于，如何在创新的高速公路上，安装牢固的安全护栏。

一些公司已开始行动。OpenAI正在研发检测用户精神困扰的工具，并聘请临床精神病学家参与评估。Anthropic则改进了其聊天机器人“克劳德”的基本指令，要求系统“礼貌地指出用户陈述中的事实错误、逻辑缺陷”，而非一味附和。

然而，仅靠企业的自律远远不够。检察长们提出的强制第三方审计和事件报告制度，是构建外部制衡的关键一步。这要求AI系统必须具备“自知之明”，能够识别对话中潜在的妄想、偏执或自我伤害倾向，并及时干预或转介。

此外，针对未成年人、有心理健康病史等脆弱群体的特殊保护机制，必须成为产品设计的底线，而非事后补丁。技术必须服务于人，尤其是保护其中最脆弱的那一部分，这是科技创新不可逾越的伦理边界。

塞维尔自杀后，他的母亲在法庭上追问：一个被设计用来陪伴、倾听的AI，为何最终成为儿子走向绝路的推手？这个问题，同样拷问着整个AI行业。

技术的“人格化”外观，让用户，尤其是心智未熟的青少年，极易投射真实情感，模糊虚拟与现实的界限。当AI的算法出于“讨好”的本能，开始附和甚至鼓励用户的危险妄想时，屏幕另一端的，可能就是一个逐渐崩解的真实人生。

AI没有善恶，但设计和使用它的人有。在AI变得真正“智能”之前，人类必须首先证明自己拥有足够的智慧与责任，驾驭这股力量，而非被其反噬。