RSI即将到来,人类社会该如何应对?10月3日,深度学习先驱、图灵奖得主杰弗里·
RSI即将到来,人类社会该如何应对?10月3日,深度学习先驱、图灵奖得主杰弗里·辛顿转发了其与剑桥AI科学与政策项目专家AlanChan与ChristophWinter、Anthropic联合创始人JackClark、OpenAI首席科学家JakubPachocki、深度学习奠基者YoshuaBengio等美国人工智能行业领袖的合著论文,题为《WhatifautomatingAlR&Dtriggersanintelligenceexplosion?》。与一年前相比,人工智能系统如今正在AI企业内部编写大部分代码。以Anthropic为例,内部由AI主导的研发工作占比,从2026年3月的1%,涨到8月的26%;AI生成的代码占已批准代码的比例,从2025年1月的低个位数,上升至2026年5月的80%以上。这样的增速令人震惊。随着越来越多的人工智能研发(R&D)管道自动化,人工智能的进步是否会在“智能爆炸”中从根本上加速,原本需要多年的科技进步被压缩为几个月或更少?初步证据表明它的可能性真实存在。在这项工作中,论文评估了这一证据,分析了智能爆炸的潜在影响,并提出了政策对策。人工智能系统有望在几年内实现大多数人工智能研发工作的自动化,甚至可能全部自动化。如果这引发了机器智能水平的爆炸,它可能会极大地带来人工智能的好处,但也会带来极端风险。能力增长可能会远远超出社会所能跟上的步伐,人类可能会失去对超级人工智能系统的控制,国家、公司和政府部门内部和之间的权力制约可能会受到严重侵蚀。尽管这些可能性仍存在许多不确定性,但高风险值得进一步认真关注。因此,论文提出,决策者应迫切提高人工智能研发自动化的知名度,开发指导和限制智能爆炸的方法,并从公共部门、公众及AI企业多个层面着手,为社会适应未来智能爆炸的时代做好准备。人工智能ai安全aiAI智能