最近跑了几次本地70B大模型,后台一查内存占用直接飙到62GB,连插了四根16G内存条的老机器都直接被干到98%占用率,开个浏览器都卡得鼠标飘。
现在不管是云端训练还是本地部署,AI对内存的胃口都大得离谱,去年DDR4内存条均价才320元一条8G,今年同规格直接涨到470,连二手市场的拆机服务器内存都被扫空了。
普通用户现在开个带AI插件的办公软件,8G内存的轻薄本直接卡成PPT,后台偷偷跑的AI助手动不动就吞掉十几G内存,感觉接下来换电脑,内存插槽没插满32G都不好意思说自己的机子能正常用。


