DC娱乐网

8 美元的 ESP32-S3,跑起了一个 28.9M 参数的语言模型,速度约 9

8 美元的 ESP32-S3,跑起了一个 28.9M 参数的语言模型,速度约 9.5 token/s,全程离线。这个数字很抢眼,仓库里更有意思的是参数放在哪:其中约 25M 都在 flash 的嵌入表里,每生成一个 token 只取约 450 字节,真正计算的那一小块留在更快的内存里。

能力边界也写得很实在。它用 TinyStories 训练,只会续写简单故事,不能问答、听指令、写代码,也没有事实知识。

这个真挺漂亮。512KB SRAM、8MB PSRAM 和 16MB flash 各干各的,硬是把模型塞进了单片机。以后再看到「多少参数跑在什么芯片上」,我会先看参数放哪、每步到底读多少,然后看它能做什么。最后这件事,最容易被标题省掉。