DC娱乐网

Token 翻译成词元,在英语中 Tonken 是比字小的单位,用来减少 AI

Token 翻译成词元,在英语中 Tonken 是比字小的单位,用来减少 AI 的字典数量,在汉语中,Tonke 是比汉字大的单位,是词,甚至比词更大的单位,非常多, AI 只能收录常用汉字 Token。有人竟然说汉子简练,用汉字处理节省 Token,真的比 AI 幻想还幻想。