使用速算方法估算大规模推理成本 地址：injuly.in/blog/napkin-inference-cost/index.html
如果你在产品栈中集成了AI模型服务，很可能思考过GPU集群的扩展极限在哪里。 只要掌握硬件和模型架构的基础知识，我们就能在餐巾纸背面估算出每位用户的美元成本。
目录： - 单GPU资源 - 矩阵乘法成本 - 语言模型概览 - 注意力机制详解 - 利用KV缓存降低计算量 - 单个Token的成本是多少？ - 实际可服务的用户数量 - 在GPU上优化数百用户并发 - 每秒Token生成量 - 每位用户的美元成本AI创造营
