DC娱乐网

「告别固定分词:让模型学会自主切词的 H-Net」大语言模型正尝试摆脱人工离线分

「告别固定分词:让模型学会自主切词的 H-Net」大语言模型正尝试摆脱人工离线分词规则。Cartesia提出的分层架构H-Net直接从原始字节切入,把分块边界完全交给网络端到端联合优化。模型底层读取字节并动态压缩成块,主干在较短的序列上建模,再还原回去。分块会随上下文实时变化,还能自适应地合并新概念。在严格受控的实验中,它既保留了纯字节模型的泛化优势,又有较高的计算效率。下游评测中,它相对标准BPE取得约2倍的算力优势,在代码与DNA序列上大幅领先;3B规模下,仅用约1T数据就追平了基准模型11T数据时的均分。这为更底层的架构演进提供了可靠的参照。