十万卡不排队?曙光8000的调度算法有点东西
都说外行看卡数,内行看调度。刚从WAIC展会回来,曙光8000(登峰)作为“镇馆之宝”,展台里三层外三层,上线首周即应用满载运行,简直夯爆了,站我旁边的哥们说他正在见证历史哈哈哈。更关键的是,官方说“高负载不拥堵、多任务不排队”。
怎么做到的?我回来也扒了一下,技术拆解来看,主要是三点:
一是全球首创的高密度机柜,算力密度提升20倍,物理空间上把数据路径缩短了;
二是自研的scaleFabric高速互连技术,解决了十万卡级别的通信瓶颈,这玩意儿要是卡脖子,再多卡也是废铁
;三是那个数据亲和性调度算法,把任务往有数据的地方算,减少搬运成本。这种系统工程能力,才是真正的护城河。
看来中科曙光这次确实是把“系统效率”玩明白了,十万卡集群要的不是蛮力,是巧劲。
调度算法 WAIC
