现在所有的AI算力神话,底层无非是在通用性、并行度和内存延迟这三个维度上疯狂做拆东墙补西墙:
CPU是那个胸怀大志的大学教授。
它拥有深厚的缓存和极其复杂的逻辑控制,擅长做决策、跑操作系统、处理带有大量分支判断的代码。
可一遇到AI核心的大规模矩阵乘法,CPU就傻眼了:90%的晶体管都在做预测和调度,真正做算术的没几个。让CPU去跑千亿大模型,就像请爱因斯坦去工地搬砖,既贵又慢。
GPU则是工业时代的万人大工厂。
英伟达抛弃了复杂的控制逻辑,把几千个小核心挤在一张卡上,搞万人同频搬砖。这正是GPU能够垄断AI训练的原因,神经网络需要的算力被彻底并行化了。
但GPU也有致命弱点:核心算得太快,而显存读取速度跟不上。哪怕用了昂贵的HBM3e,上万个CUDA核心依然经常处于饥肠辘辘等米下锅的状态,这就是令所有硬件工程师抓狂的内存墙。
谷歌看穿了这一点,于是搞出了TPU。
TPU做了一个绝妙的减法:采用脉冲阵列。
数据就像血液通过血管一样,在乘加单元组成的网格里一波波冲过去。权重从一端进,激活值从另一端进,中间计算结果直接传给下一个节点,根本不需要频繁退回内存。这种全靠编译器强行调度的流水线美学,把数据搬运损耗降到了最低。
如果说TPU是数据中心的工业巨兽,NPU就是潜伏在手机和智能穿戴里的隐形劳模。苹果的Neural Engine或者英特尔的NPU,核心目标就一个:在个位数瓦特的极低功耗下搞推理。
它们舍弃了昂贵的高带宽显存,用板载SRAM搭配普通系统内存,专门处理语音识别、拍照美颜和端侧小模型。它不求力拔山兮,只求在你的手机电池炸掉之前把图画完。
最后登场的Groq LPU,则是近乎疯狂的偏执狂。
Groq的工程师认为:既然显存瓶颈是噩梦,那就彻底不要显存。
LPU把所有的模型权重全部塞进板载SRAM里。SRAM的读写带宽高达230TB/s,是顶级高带宽显存的数十倍,而且执行过程完全确定,零缓存缺失,零调度开销。它的推理速度快到让人发麻,但代价是什么?一颗LPU芯片的SRAM容量只有区区几百MB。
你想跑一个70B的大模型?没问题,请把几百张LPU卡串联起来。这种用芯片堆叠换取极致低延迟的玩法,简直就是把钞能力写在了硬件架构里。
从CPU的万能却缓慢,到LPU的偏执与极速,硬件架构的演进从来不是技术的魔法,而是残酷的物理妥协。所有号称革命性的AI芯片,本质上不过是在用更多的面积换延迟,或者用更高的成本换吞吐。
这场算力军备竞赛的尽头,既不是算法的终局,也不是数学的极限,而是千家万户接通的电线,以及数据中心背后那张令人心惊肉跳的电费账单。
