计算机行业专题研究
惠说数据
2024-08-11 00:09:15
报告主要从以下内容阐述：
✔拆解大模型推理过程，洞察国产模型降价本质：
表现：国产厂商进入 API“价格战”阶段
趋势：长上下文已经成为全球模型的共性发展特点
拆解：当我们使用长上下文时，模型究竟发生了什么？
✔从幻方和微软进展看 KV cache 压缩的典型算法：
幻方 DeepSeek V2：优化注意力机制来大幅压缩 KV cache
微软 YOCO：通过全局缓存方式来大幅压缩 KV cache
KV cache 压缩技术可复制，模型边际调用成本或接近 0
AI Agent 或是提高应用表现的下一个关键
相关产业公司梳理
................
相关报告
✔计算机行业专题研究：国产大模型“凭”什么降价？-240610-华泰证券-21
0
阅读：0
