最近看到一条消息，百度发布了文心大模型5.0正式版，参数规模到了2.4万亿。2.4万亿是什么概念呢？现在市面上主流的开源大模型，参数规模基本在几百亿到几千亿之间。万亿级别是另一个台阶。但参数大不代表一定好用。据官方发布信息，虽然总参数有2.4万亿，但每个Token只激活不到3%的参数。你可以把它理解成一个很大的专家库，每次解决问题只叫最相关的几个专家出来，库很大但干活不铺张。这样做的结果是，模型能力够强，但运行成本可控。官方还提到，这个模型在40多项权威评测里，语言和多模态理解能力进了国际第一梯队。参数规模到这个级别，而且能控制住激活成本，说明国产大模型在底层技术上确实在往前走。