【大模型到底在学什么？一场横跨七十年的压缩游戏】近期关于“大模型本质是压缩”的讨论再次刷屏，其原理非常直观：无论是GPT还是压缩软件，都在做同一件事——预测下一个符号。如果预测得足够准，信息冗余就会消失，数据也就变小了。这种联系并非新鲜事，早在上世纪六十年代，控制论、信息论与神经科学本就是一家。正如David MacKay所强调的，大脑就是极致的压缩系统。虽然这个概念在业内是常识，但它在AI时代的回归揭示了一个关键分歧：压缩是否等同于智能？有观点认为，单纯追求压缩率可能会让模型为了“节省空间”而忽略掉那些极其重要但罕见的边缘案例，而这恰恰是模型泛化能力受阻的隐患。与其纠结AI是否有灵魂，不如把它看作一个在海量数据中寻找规律、试图用最短编码复刻世界的统计机器。这种视角剥离了神话感，让我们更冷静地审视模型能力的边界。