【PromptCache：让 AI 学会“记性”的省钱术】这是一个 Go 语言编写的开源语义缓存 Proxy，旨在通过识别相似请求来降低大模型调用的成本与延迟。它不依赖死板的字符串匹配，而是利用 Embedding 向量识别 Prompt 的意图，甚至为“模糊地带”引入了小模型校验机制，确保只有意图一致时才返回缓存。这种即插即用的架构支持主流厂商接口和流式输出，在理想环境下能抵消 80% 的 Token 支出，并将响应速度提升至毫秒级。对于 RAG 应用和 AI Agent 这种存在大量重复逻辑或高频交互的场景，语义缓存是迈向生产环境的关键一环。社区评论指出，虽然语义匹配天然带有概率性，但该项目通过双阈值策略和意图核实，在效率和准确性之间找到了平衡。不过，开发者必须意识到缓存层并非安全边界，绝不能在涉及多租户隐私或权限敏感的场景下盲目开启。这种方案的价值在于它将昂贵的生成过程转化为廉价的检索过程，是目前解决大模型吞吐量瓶颈最直接的“外挂”方案。 repo: messkan/prompt-cache