华为云新一代昇腾AI云服务基于CloudMatrix384超节点,首创将384颗

京城数码弟 2025-06-21 08:25:21

华为云新一代昇腾AI云服务基于CloudMatrix384超节点,首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,单卡推理吞吐量跃升到2300 Tokens/s。

超节点架构能更好地支持混合专家MoE大模型的推理,可以实现“一卡一专家”,一个超节点可以支持384个专家并行推理,极大提升效率。同时,超节点还可以支持“一卡一算力任务”,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率(MFU)提升50%以上。

0 阅读:0

猜你喜欢

京城数码弟

京城数码弟

感谢大家的关注