DeepSeek 10/20 把自家推理引擎 DeepInfer 开源,4 天后 vLLM 和 SGLang 就来交卷了:
vLLM 说在 DeepSeek 的解码配置下(batch 8–256)性能追平;SGLang 说 prefill 最高 1.04 倍、decode 最高快 7.4%。
开源最狠的就在这:原厂底牌一摊开,社区几天就能追平甚至反超,最后省钱的是每个用 token 的人。(数据为各家官方自测)
你觉得明年大模型 API 价格还能再砍一半吗?

DeepSeek 10/20 把自家推理引擎 DeepInfer 开源,4 天后 vLLM 和 SGLang 就来交卷了:
vLLM 说在 DeepSeek 的解码配置下(batch 8–256)性能追平;SGLang 说 prefill 最高 1.04 倍、decode 最高快 7.4%。
开源最狠的就在这:原厂底牌一摊开,社区几天就能追平甚至反超,最后省钱的是每个用 token 的人。(数据为各家官方自测)
你觉得明年大模型 API 价格还能再砍一半吗?
