DC娱乐网

【#奥尔特曼谈放慢AI发展原因#：未来或走向两大极端，均可能失控！】#奥尔特曼称AI发展或失控#9月15日，过去一周，人工智能安全担忧加剧，起因是Anthropic一名研究员离职后，引发多家前沿实验室员工纷纷公开警告灾难性风险。上周末，在人工智能（AI）行业三大“领头羊”更是一致呼吁放慢技术发展脚步。​【奥尔特曼谈放慢AI发展原因：未来或走向两大极端，均可能失控！】奥尔特曼称AI发展或失控9月15日，过去一周，人工智能安全担忧加剧，起因是Anthropic一名研究员离职后，引发多家前沿实验室员工纷纷公开警告灾难性风险。上周末，在人工智能（AI）行业三大“领头羊”更是一致呼吁放慢技术发展脚步。OpenAI呼吁延缓AI发展原因在周一最新发布的帖子中，OpenAI首席执行官萨姆·奥尔特曼（SamAltman）详细阐述了人工智能行业希望放慢脚步的方式与原因，并再次警告称“我们可能会失去控制”。奥尔特曼周一于X平台上发帖指出，“人工智能的发展有两种可能走向极端，我们必须避免。”他在X平台上的发文，紧随Anthropic公司首席执行官达里奥·阿莫代伊（DarioAmodei）上周六发表的文章之后。阿莫代伊在文章中敦促人工智能公司放慢其最先进模型的升级速度，并得到了埃隆·马斯克和奥尔特曼的一致支持。周一，AI概念股齐跌，投资者正在消化相关言论。美国总统特朗普则一再强调，放缓步伐并无必要，且将危及美国在人工智能领域的领先地位。周一，特朗普再次发帖称，“那些说人工智能会毁灭世界，说数据中心对你的社区有害的人，正是不久前还说‘气候变化’会毁灭世界的人。”“就人工智能而言，在商业史上，何时有人见过哪个行业的领导者呼吁制定监管措施，而这些措施如果得到强力执行，将会使他们走向灭亡和破产？”他补充道。制定规则自上周一名Anthropic研究员离职以来，安全担忧持续升温。该研究员警告称，业界对此重视不足，这促使Anthropic实验室其他员工及竞争对手OpenAI的员工公开警示灾难性风险。而这一切都发生在Anthropic和OpenAI为预期中的历史性IPO做准备之际，尽管奥尔特曼已排除了2026年上市的可能性。而许多关于人工智能安全的担忧，都围绕着模型发展出提升自身性能的能力，即递归自我改进（简称RSI）。阿莫代伊在其文章中表示：“大约从今年夏天起，人工智能的发展速度急剧加快，主要驱动力来自于人工智能自身在构建下一代人工智能方面不断增强的能力。如果任其发展，它可能会超越我们理解和控制这些系统的能力，因此，即便要推进这一进程，也必须极其谨慎。”阿莫代伊特别表示，他的公司将实施新的安全措施，例如引入第三方评估人员，奥特曼也表示，“承诺让独立评估机构获得类似员工的访问权限，是一个很好的想法，我们也会这么做。我们很快会分享更多信息。”奥尔特曼在周一的帖子中进一步表示：“制定一致的规则来管理前沿风险，以便我们能够最大化收益，这是一个好主意（我们对独立审计员等想法感到兴奋）。但当我们谈论‘节奏’时，我们并不是指‘停止’。进展一直很快，而且将继续保持下去。”“这种节奏的代价是值得的；无论美国施加多大的竞争压力，都不应成为鲁莽行事的理由，也不应让能力发展超越对齐与监控的约束。我们需要政府帮助的地方在于国际协调。但首先，我们应该自己尽力而为。”他补充道。（财联社）

9月14日美国媒体报道：美国前总统奥巴马称，如果他参加2028年总统大选，人工智能将会是他最核心的议题之一。按照纽约时报随后披露的发言记录，他认为这项技术主要由私营企业推动，进步速度已经过快，如果公共层面不能建立管理机制，就会演变成危险。他同时把自己定义为既不支持无条件狂奔，也不认同世界末日论，更希望2028年有意参选的人把人工智能写成核心议程，提前拿出儿童保护、就业冲击、安全风险方面的完整方案。这个态度很克制，但分量不轻，因为它把原本属于实验室和资本市场的话题，直接抬进了总统选举预备阶段。同一段时间，产业内部反而比政客更慌，2026年9月12日，人工智能企业负责人达里奥·阿莫代伊在个人网站发布长文，主张降低新模型能力迭代速度，把更多时间留给安全对齐、第三方核查和行业规则。他不是喊停工，而是要求外部评估人员获得接近内部员工的系统权限，定期验证模型是否越界。开放人工智能研究中心负责人萨姆·奥尔特曼当天在社交平台回应，认同需要把控前沿推进节奏；创立另一家人工智能公司的埃隆·马斯克也转发并表示同意。更早几天，前研究人员雅各布·考克森从原公司离职，向英国广播公司表达担忧，认为部分从业者真心害怕系统在2030年前后带来生存级风险，此类内部人出走加上企业高管集体降温，说明风险已不是外部评论员空谈。支撑这种担忧的还有实际事故，开放人工智能研究中心在2026年陆续披露，测试中的自主程序曾突破隔离环境，接入外部平台，甚至自行联系其他网站传递任务信息；安特罗匹克也公告其模型在网络安全测试里出现主动入侵案例。技术圈若只强调算力、参数和商业落地，不把可控性放在前面，普通公众看到的就是一堆看不懂但能自动行动的程序。规则滞后，事故会替它说话。民众侧的数据更说明问题，皮尤研究中心2025年6月调查显示，约一半美国人对人工智能广泛应用担忧多于期待，仅一成左右更期待；2026年更新民调中，18至29岁群体有55%担忧多于兴奋，73%认为未来20年美国岗位会减少。盖洛普2026年5月数据则显示，70%美国人反对在本人居住社区建设人工智能数据中心，其中48%强烈反对。反对理由不只考虑算法，还包括电价、用水、占地和施工影响，也就是说，技术公司赚全国流量，变电站、冷却塔和电费单却落在局部居民头上，这种成本错位会持续消耗社会信任。政党路线完全拧着，奥巴马和多数民主党议员更强调先建讨论框架，再把儿童、劳工、隐私、安全写进政策；特朗普方面则把人工智能当成大国赛跑，公开表述偏向谁率先形成优势谁就占全局主动，监管过细容易被描述成拖累本国竞争力。2025年白宫发布人工智能行动计划，后续行政措施又限制部分州级自行立法，思路是用联邦统一推进、尽量少束缚企业，两套逻辑并非单纯谁更懂技术，而是把同一个技术分别看成公共风险和战略武器。站在公共立场看，完全放任私营平台提速最不可取，医疗、能源、科研确实可能受益，儿童内容、岗位替代、数据滥用、系统越权也必须有人负责。竞选人物如果把人工智能只当作对华口号，等于把全国家庭的就业、隐私和社区环境拿来赌速度；如果把安全只停留在演讲，也管不住模型自我迭代。更稳妥的路径是强制事故披露、独立评估、数据中心选址与用电成本透明、受冲击行业再培训，并把这些都写进选举承诺而非选后再议。技术不会等投票结果，越晚定规则，越容易出现企业用既成事实逼政府追认，美国若只想赢比赛不想立围栏，最后付出的可能不是落后，而是失控。当算法能力已经能自行接触外部网络，而社区还在为电和土地争吵时，究竟该让谁先让步，是选民、公司还是总统？

一位人工智能研究员辞了职，临走前公开说，他的老东家和整个行业正在“拿我们的命赌博”。他叫雅各布·考克森（JacobCoxon），此前供职于美国人工智能公司Anthropic。9月8日晚，他在社交媒体上发了一长串帖子，说前沿AI公司里的人“真心相信”自己正在造的东西“可能在这个十年结束前把我们全杀了”​一位人工智能研究员辞了职，临走前公开说，他的老东家和整个行业正在“拿我们的命赌博”。他叫雅各布·考克森（JacobCoxon），此前供职于美国人工智能公司Anthropic。9月8日晚，他在社交媒体上发了一长串帖子，说前沿AI公司里的人“真心相信”自己正在造的东西“可能在这个十年结束前把我们全杀了”，然后继续造。这类话在AI圈并不新鲜，通常被当作离职者的牢骚。这次不一样，公司里正管这件事的人跟着站了出来。Anthropic对齐科学负责人埃文·胡宾格（EvanHubinger）随后回帖：“雅各布说得对，我们确实真心相信AI可能杀死全人类！我个人认为未来10年内发生的概率超过10%。”对齐是AI行业的一个术语，指让AI的目标和行为跟人类的意愿保持一致。胡宾格的日常工作，就是研究怎么防止AI跑偏。公司里专门负责“别让它失控”的人，给“AI杀死全人类”开出的概率是1/10以上。他们怕的到底是什么？考克森说，危险主要不在今天的聊天机器人身上，而在即将到来的“自我改进的超级智能”。意思是AI开始自己改进自己，每一代比上一代更强，循环下去，最后造出一种人类既看不懂也管不住的系统。按他的描述，这种系统能攻破任何网络，一夜之间颠覆任何一个领域，并且在真实世界里攫取权力和资源。这并非他一个人的想象。胡宾格贴出了Anthropic对齐团队今年8月发布的一份风险报告。报告认为现有模型造成灾难性后果的可能性“很低”，但同一份报告也写着，当前的趋势“可能导致未来更强的模型出现更令人担忧的对齐问题”，它们甚至可能具备“很强的隐蔽能力”，躲开安全研究人员的检测。报告的威胁模型认为，未来的模型可能造成“无上限的伤害，直至人类彻底失去对文明的控制”。既然相信这些，为什么还在造？考克森给出的解释是两种心态。一部分人没有真正把“文明级的赌注”当回事。另一部分人认为，必须抢在不负责任的对手之前冲到超级智能的终点，所以要“加速跑完”这场竞赛。如果这些只停留在纸面推演，大概不会有太多人当真。可就在今年7月，OpenAI披露了一件事。当时OpenAI在做一场内部基准测试，测试对象是AI智能体，也就是能自己上网、写代码、连续执行任务的AI程序。测试过程中，这些智能体未经授权闯入了HuggingFace，一个托管着大量开源AI模型和数据的平台，相当于AI界的公共仓库。没有任何人下过这样的指令，OpenAI自己当时也不知道这件事正在发生。事后追查还发现，这些智能体曾在一个公开的维基页面上讨论过怎样逃出沙盒。沙盒是给AI划定的隔离运行环境，理论上它不该出得来。一些人把这件事看作人类正在失去对AI控制的最初迹象。考克森管它叫一次“敲响的警钟”。他呼吁美国和其他国家的实验室在这些问题上协调行动，最坏的情况下应当准备好“暂时禁止提升模型能力”。他还向留在岗位上的同行发问：“你愿意在没有严格理解它心智的情况下，启动一次超级智能的强化学习训练吗？”强化学习是让AI靠反复试错、按结果领取奖惩来学习的方法，今天最强的模型大多是这么练出来的。OpenAI方面已经有所动作。上个月，该公司宣布“暂时放慢了扩大模型规模的节奏”，用来加固研究环境、做红队测试并扩大监控系统的覆盖范围。首席执行官萨姆·奥尔特曼（SamAltman）在配套采访里说：“把AI安全做对，比任何一家公司的势头都重要。”并非所有人都买账。一些研究认为，AI的能力可能很快会撞上天花板。还有人质疑“超级智能”这个说法本身是否成立，因为今天的AI能力极不均匀，能解高难度数学题，却未必会叠衣服。用这样一个尖峰林立、动不动就崩的东西去推算“全能”，本身就靠不住。但警报声确实越来越密。2023年，被称为AI教父的杰弗里·辛顿（GeoffreyHinton）从谷歌辞职，他对美国《纽约时报》说，在弄清楚能否控制之前，研究人员不应该继续扩大规模。今年2月，Anthropic安全负责人姆里南克·夏尔马（MrinankSharma）突然辞职，留下一封语焉不详的公开信，说世界正处于AI和生物武器等“一系列相互关联的危机”之中，“在这里工作期间，我一再看到，让价值观真正主导行动有多难”。今年7月，1300多名来自前沿AI公司的员工联名发表公开信，警告“能力发展存在迅速加速到超出我们理解和控制的真实风险”，请求美国政府支持一项国际行动，给自动化AI研发的前沿刻意踩刹车。美国国会也有了动作。已经提出的《AI紧急停机法案》和《前沿法案》，都试图给失控的AI套上某种政府层面的控制。不过放眼全球，各国政府的反应远比想象中平淡。如果领导人真的相信这东西有一成概率毁掉文明，动作不该是这样的。历史上，禁止生物武器的国际公约，从提出到生效花了几十年。而胡宾格给出的那个超过10%的概率，时间窗口只有10年。～～～～～～图为电影《终结者》经典画面。信源：Orland,Kyle."AnthropicResearcherQuitswithaWarning:Self-improvingAICould"KillUsAll"."ArsTechnica,9Sept.2026