DC娱乐网

最近我发现很多人养大肥鱼,就是在浪费token。 因为有人和我说他的大肥鱼一天能消耗1-2亿token,然后我看了我的AI,测试了3天才用了100万token。(当然我测试的强度没那么大,昨天晚上才算是正式放到真的群里面测试了一下) 首先一个原因是很多人直接用了DHS配合大量插件,导致提示词一大推,聊天的 ​

最近我发现很多人养大肥鱼,就是在浪费token。

因为有人和我说他的大肥鱼一天能消耗1-2亿token,然后我看了我的AI,测试了3天才用了100万token。(当然我测试的强度没那么大,昨天晚上才算是正式放到真的群里面测试了一下)

首先一个原因是很多人直接用了DHS配合大量插件,导致提示词一大推,聊天的时候估计保底就要有上万的token是系统提示词。然后群里的时候每句话都扔给AI去判断要不要回复。

我自己写的机器人我找了2个本地部署的小模型负责处理向量数据和判断AI是否该主动回复。系统提示词目前估计就几千token。并且设置了群里只有@ 的时候才回复内容。