随着向代理式 AI（Agentic AI）的转变，AI 硬件格局正在彻底改变

传统的聊天机器人是“一个问题 → 一个回答”的短跑冲刺

而代理则需要阅读文档、思考、调用工具

并将结果重新整合的循环，反复进行数十到数百次，这是一场长途驾驶

在这个过程中，最重要的是“从开始到结束都不忘记已有的上下文”，但硬件瓶颈在这里出现了 3 个爆发的点

1️⃣ KV 缓存（HBM 暴走）：这是 Transformer 把至今见过的 token 记下来的笔记本

代理会不断积累工具结果和对话历史

线性膨胀的 KV 缓存直接吞噬 HBM

2️⃣ 通信（Interconnect）：MoE 结构或多代理系统无法在一块芯片上完成，需要芯片之间不断交换计算结果

通信带宽比计算力（FLOPS）先达到极限

3️⃣ 主机编排：工具调用、会话管理、奖励学习等无法仅靠 TPU 完成

主机 CPU、普通 DRAM、高速网络全都一起崩溃

简单比喻一下：

聊天机器人 = 只看引擎（FLOPS）的短距离赛车

代理 = 打开导航一边开会一边行驶的大型卡车

这里的油箱是 HBM，副驾驶座的便签是 SRAM，高速公路是光通信，维修站是超高速存储

谷歌也承认，代理循环中产生的细微通信·内存瓶颈会在整个系统中被极大放大

因此谷歌首次将第 8 代 TPU 策略完全二元化

TPU 8t：用于大规模训练和参数计算

TPU 8i：专用于代理推理和高频循环

训练（8t）重视计算和巨大的共享泳池

每芯片 HBM 216GB（6.5TB/s）、SRAM 128MB，9600 芯片超级荚舱提供 2PB 共享内存

相反，推理/代理用（8i）的核心是快速生成 token，让它不等待

因为每个 token 都需要读取 KV 缓存，所以 8i 减少了计算面积，塞入了更多内存·通信

每芯片 HBM 288GB（带宽 8.6TB/s）

片上 SRAM 384MB（比 8t 多 3 倍），仅看 Hot Chips 公开的硅结构，8i 侧的 HBM 堆栈就更密集地嵌入

谷歌的分层内存设计也很有趣

片上 SRAM（384MB）：桌面上的便签纸

当前对话的核心 KV 不发送到芯片外，直接处理

HBM（288GB）：核心工作内存

谷歌为了解决这种供应短缺，不仅与内存半导体公司进行简单交易，还进入了“共同设计”阶段

硬件不足用 SW 压缩来弥补

谷歌研究发布的 TurboQuant（ICLR 2026）在不进行训练·参数调整的情况下，将 KV 缓存压缩到 3 比特级别

在最小化精度损失的同时，能在同一个 HBM 中塞入更长或更多的代理会话

即便如此 HBM 还是溢出？

通过外部超高速存储卸载。Next ’26 中宣布的 Managed Lustre（带宽 10TB/s 级）、TPU Direct Storage / RDMA 结构，直接连接 HBM 和外部存储

利用外部 KV 缓存卸载，在特定工作负载中将成本降低了最多 35%，已公布

当代理之间开始对话时，网络就会暴走

谷歌在 8i 中应用了扁平拓扑 Boardfly 而非现有的 3D 环面，将最坏通信跳数（Hop）从 16 减少到 7

此外，在芯片中内置 Collective Acceleration Engine（CAE），将芯片间同步等待时间缩短 5 倍

数据中心整体单位引入 Virgo 织物和 OCS（光开关）

用 MEMS 镜子代替电开关改变光路径，将信号转换延迟和功耗降低 40%

当特定代理节点间流量暴增时，SDN 会实时重新分配光连接（Restriping）

这是一种 800G / 1.6T 光模块需求必然爆炸的结构