华为云新一代昇腾AI云服务基于CloudMatrix384超节点,首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,单卡推理吞吐量跃升到2300 Tokens/s。
超节点架构能更好地支持混合专家MoE大模型的推理,可以实现“一卡一专家”,一个超节点可以支持384个专家并行推理,极大提升效率。同时,超节点还可以支持“一卡一算力任务”,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率(MFU)提升50%以上。
华为云新一代昇腾AI云服务基于CloudMatrix384超节点,首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,单卡推理吞吐量跃升到2300 Tokens/s。
超节点架构能更好地支持混合专家MoE大模型的推理,可以实现“一卡一专家”,一个超节点可以支持384个专家并行推理,极大提升效率。同时,超节点还可以支持“一卡一算力任务”,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率(MFU)提升50%以上。
猜你喜欢
【212评论】【39点赞】
【3评论】【2点赞】
【51评论】【28点赞】
【2评论】【6点赞】
【15评论】【5点赞】
【8评论】【20点赞】
作者最新文章
热门分类
科技TOP
科技最新文章