我以前觉得中科曙光有点“偏底层”，看到OpenAI这次重写Habitat，反而觉得这条路线越来越容易理解了。曙光现在补的很多东西，恰恰都是AI规模大起来以后绕不过去的系统问题。
OpenAI这次没有发布新模型，而是把支撑ChatGPT在线数据访问的Habitat从Python迁到Rust。原因很现实：用户规模到了10亿级，每秒请求超过7000万次之后，哪怕底层只浪费一点CPU、内存和时延，放大到整个系统都是巨大的成本。迁移之后，CPU效率提高约6倍，内存效率提高约15倍。
这和现在国内算力行业正在发生的变化挺像。以前大家讨论最多的是芯片参数，现在真正上大规模系统以后，网络慢一点、数据搬得多一点、重复计算多一点，最后都会变成真金白银。
中科曙光今年做的scaleFabric和ParaCache，其实都在解决这种“不显眼的浪费”。前者把400G高速互连做到端侧微秒级，后者干脆把大模型已经算过的结果保存下来复用，在约12万Token输入场景中，首Token等待时间最高下降98.5%。
这些东西没有大模型发布那么热闹，但AI真正进入规模化阶段以后，我反而越来越看重这种能力。
因为机器越来越多不难，难的是让每一台机器都别白忙。
中科曙光 人工智能 国产算力 AI基础设施 科技观察 算力