美银证券(BofA)在对前微软AI工程高管的访谈中指出,随着代理式AI(Agentic AI)的普及,推理阶段的内存需求将结构性上升,投资判断不能只盯着GPU数量,更要关注KV缓存放在哪里、搬得多快。原因是多方面的:上下文长度正从约12.8万token向100万token扩展;多个代理并发工作需要共享任务上下文;KV缓存
美银证券(BofA)在对前微软AI工程高管的访谈中指出,随着代理式AI(Agentic AI)的普及,推理阶段的内存需求将结构性上升,投资判断不能只盯着GPU数量,更要关注KV缓存放在哪里、搬得多快。原因是多方面的:上下文长度正从约12.8万token向100万token扩展;多个代理并发工作需要共享任务上下文;KV缓存