大模型推理正被GPU显存容量卡住。
HBM4堆叠12层也只有36GB，未来很难靠单纯堆叠扩容。
但三类需求持续攀升：
超长上下文KV缓存必须驻留HBM；
超大MoE专家权重体量巨大，只能靠大量专家并行
大模型推理正被GPU显存容量卡住。

HBM4堆叠12层也只有36GB，未来很难靠单纯堆叠扩容。

但三类需求持续攀升：

超长上下文KV缓存必须驻留HBM；

超大MoE专家权重体量巨大，只能靠大量专家并行拆分，带来海量跨节点通信；

企业多模型集群里冷模型常被驱逐，重新加载要等数百毫秒。容量成了延迟和吞吐的核心约束。

对此，阿里达摩院联合湖畔实验室，提出HBF 高带宽闪存（High-Bandwidth Flash）方案，用3D NAND堆叠出数百GB只读容量，给GPU内存层次加一层大容量扩展。

【方案核心】

HBF基于2.5D堆叠，读带宽接近HBM，但延迟偏大、只适合只读。关键设计：KV缓存和运行时缓冲仍留在HBM保低延迟，HBF只存只读权重和专家。

硬件集成更关键：论文对比四种架构，全HBF替换、并列堆叠、菊花链都会损耗带宽，只有集成混合堆叠（单堆叠内同时塞DRAM和Flash裸片、共享TSV互联）跨通道均衡利用率高，几乎不伤HBM计算带宽，是面向低延迟推理的较优形态。

【系统收益】

MoE场景：单卡常驻专家从8提到32，token路由本地命中概率大升，跨节点通信流量最低降到基线16.1%，单token延迟TPOT降10.5%。

多模型场景：HBF扩到4倍容量，27款模型全常驻，动态加载次数212降到0，首包延迟TTFT从196.1ms降到6.8ms，缩短28.7倍；富余容量复制热模型均衡负载，高并发下TTFT最高再快19.4倍。

【结论】

HBM负责KV缓存和可变数据，HBF只存只读权重，各司其职。

未来AI芯片不必只堆HBM，加一层闪存就能低成本扩展模型常驻容量，尤其利好MoE集群和多模型混合推理。

论文也提醒，若HBF抢占HBM带宽或写入磨损，实际收益会打折扣。

仅仿真环境实验，未在真实硬件科研场景验证；评测指标依赖执行日志，无法捕捉模型内部推理隐性缺陷。大模型 AI芯片 阿里 人工智能 小红书科技观察团 小红书热点观察团 科技