半导体垂直革命：HBM、zHBM

- 随着AI加速器的运算性能快速提升，DRAM无法及时供应数据的瓶颈问题日益加剧

- 传统通过平面扩展DRAM的方式因面积、信号损耗、发热和功率效率问题而遭遇瓶颈

- 内存需要在提升带宽和容量的同时，还需降低延迟时间和功耗

- 为了突破平面结构的局限，DRAM垂直堆叠的HBM应运而生

- HBM通过将多张核心芯片垂直堆叠，同时提升容量和带宽

- 堆叠的芯片之间通过TSV（硅通孔）垂直传输数据，比传统的线键合大幅缩短传输距离

- 最底部的基底芯片负责与GPU或CPU交换数据，承担HBM整体的通信任务

- HBM与运算芯片通过中介层共同布置，以比普通PCB更密集的电路连接

- 随着AI运算量增大，基底芯片的作用也愈发重要，从HBM4开始，陆续采用三星代工厂4纳米等先进工艺

- 芯片连接方式也从微凸块转向直接贴合铜接触点的混合键合

- 混合键合能缩小芯片间距并提高数据传输效率，被视为适合堆叠数量增加的HBM的理想技术

- 传统HBM采用在GPU旁布置内存的2.5D结构，数据仍需通过中介层传输的局限性依然存在

- 下一代zHBM旨在通过将HBM直接堆叠在AI加速器上方，进一步缩短数据移动距离，实现3D结构

- zHBM的目标是比现有HBM高出最多8倍的性能和约3倍的功率效率

- 热阻也朝着降低50%以上的方向设计，旨在同时缓解高性能AI芯片的发热问题

- 向上堆叠内存的竞争，已从DRAM本身的性能之争扩展到代工厂微缩工艺、TSV、混合键合以及先进封装等互联结构