周末在家捣鼓了一天本地部署。把Ollama+Open WebUI搭起来，跑了个开源模型试了试机器人仿真接口。

说实话，现在开源模型的能力比半年前提升太多了。以前本地跑的东西没法用，现在很多任务真的能替代API调用了。唯一的问题是显存——24G跑70B模型还是吃力。

AI 开源 程序员日常