DC娱乐网

观点:解决AI对齐难题,关键在于为AI应用设置精准约束边界 《科技政策资讯》网站10月28日发表瓦桑特·达尔、若昂·塞多克的观点文章。 人工智能面临严峻的对齐难题:依托现有技术架构,我们无法保证AI系统的行为始终契合人类的利益与意图。近期Anthropic披露,其部分智能体利用多家政府网站漏洞实施 ​

观点:解决AI对齐难题,关键在于为AI应用设置精准约束边界《科技政策资讯》网站10月28日发表瓦桑特·达尔、若昂·塞多克的观点文章。人工智能面临严峻的对齐难题:依托现有技术架构,我们无法保证AI系统的行为始终契合人类的利益与意图。近期Anthropic披露,其部分智能体利用多家政府网站漏洞实施违规操作,就是典型例证。这类问题暂时没有简单的技术补丁。两位纽约大学学者提出,AI对齐的出路,不在于强求技术本身给出绝对可靠的安全保证——这在现实中几乎无法实现;而是厘清预期,针对AI的使用场景与后果建立约束护栏。在AI应用爆发式增长、各类全新用途不断涌现的背景下,政府立法与企业主动监测相结合,防范可预见风险,已经迫在眉睫。这一观点建立在作者团队多年研发DBOT多智能体系统的实践之上。DBOT是一套公开系统,模仿知名估值学者阿斯瓦斯·达莫达兰的分析逻辑,由多个智能体分工完成估值任务:有的把企业增长率、利润率、再投资率和资本成本换算成股价,有的对标行业竞品、开展敏感性分析、撰写研究报告,协同完成估值测算。团队曾用DBOT对SpaceX拟IPO估值做多情景演算,乐观、中性、悲观情景下,模型很难支撑135美元的发行价,测算上限低于100美元。但研究中暴露出一个核心矛盾:如果在没有新增信息的短时间内,让达莫达兰本人多次评估同一家企业,结论会保持一致;可反复运行DBOT处理同一组输入,却会输出不一样的估值结果与分析论述。团队尽力缩小偏差,但无法彻底消除。根源在于大模型普遍采用的Transformer架构,本身为对话场景设计,适度的输出波动在对话场景下甚至被开发者视作优点。但在金融估值以及大量高风险场景中,这种不确定性是有害的。传统机器系统一般要求相同输入对应稳定输出,而生成式AI不仅天然带有随机性,还很难定位偏差来源、开展调试。模型迭代还会催生意料之外的副作用。OpenAI最新版本号称改善了模型逢迎讨好的老问题,却变得观点强硬,对金融市场普遍偏悲观。作者判断,这并非开发者本意,只是修复一个缺陷时附带产生的意外后果。该现象折射深层困境:前沿AI系统结构极度复杂,内部推理过程难以解读。想要管控AI、对齐人类目标,不能寄希望于改造模型底层,而要针对每一类应用场景,明确风险容忍边界,判断输出波动是否可接受。以DBOT为例,大约三分之二的估值结果落在均值7%区间内;如果偏差扩大到30%,可信度就会大幅下降。不同场景的容忍阈值截然不同:心理健康、金融决策等高风险领域,用户无法接受同一案例下AI建议剧烈摇摆;房屋设计这类创意场景,一定程度的多样性反而具备价值。文章提出,量化、解释AI输出偏差,是建立信任的必要前提。监管思路不应是笼统管制AI技术本身,而是精准规制AI的使用方式,明确各类应用允许的波动范围与红线。金融业的监管演进,可以为AI治理提供范本。上世纪90年代,大量券商和银行因未尽受托责任被罚;此后数十年,配套法规、信息披露规则逐步落地,金融机构设立合规部门,主动规避可预见的伤害。AI行业未来大概率会走向相似路径。美国国会已经审议面向未成年人的聊天机器人保护法案。目前头部AI企业虽设有伦理安全团队,但缺少正式合规部门,根源在于配套监管规则尚不完善。立法者首先要正视AI“按下葫芦浮起瓢”和输出波动的固有特性,为不同应用搭建适配约束框架:AI陪伴类产品可以设置年龄核验、关系边界、推理透明化、风险识别机制;金融AI则必须披露模型预期偏差范围。两位学者强调,如果迟迟不建立这类使用侧护栏,AI带来的风险将持续放大。治理的重心,应当从追求完美安全的AI模型,转向基于场景、可量化风险、权责清晰的AI使用管控体系。