大家都想要"百万 token 上下文窗口",但二次方意味着：窗口每拉长一点,代价是平方级往上翻。 这就是为什么超长上下文又贵又慢，不是厂商抠门,是物理规律。有资料直接点破：对million-token 上下文和低推理成本的需求,让标准自注意力的二次方复杂度成了制约可扩展性的首要瓶颈。
第二：瓶颈已经从"模型多大"转移到了"序列多长"。
有论文说得很清楚:随着模型逼近硬件的尺寸上限,主导性的计算瓶颈已经从模型大小,根本性地转移到了长 token 序列上自注意力的二次方成本。再叠加长思维链推理、多智能体、高清图像、长视频这些,序列长度爆炸式增长,二次方成本就成了头号敌人。
未来降本的主战场,不再是"把模型做小",而是"把这个 n² 干掉"。线性注意力(linear attention):用近似的办法,让复杂度随长度线性增长而不是平方。
稀疏注意力(sparse attention):不让每个 token 和所有 token 都算,只算最相关的那一部分，这些不是纸上谈兵——这些方法很多已经被集成进高知名度的商业模型里,在真实生产环境中证明了可行性。