[LG]《ConstrainedDecodingofDiffusionL

爱生活爱珂珂 2025-08-16 06:33:35

[LG]《Constrained Decoding of Diffusion LLMs with Context-Free Grammars》N Mündler, J Dekoninck, M Vechev [ETH Zurich] (2025)

扩展扩散语言模型(Diffusion LLMs)生成的可控性成为难点,本论文开创性地提出了基于上下文无关文法(CFG)的约束解码方法,支持多区域填充(MRI)及扩散模型(DLM)场景,实现形式语言的严格遵守。核心亮点包括:

• 统一视角:将约束解码归约为“加法填充”决策问题,判断部分输出是否可扩展为合法字符串,突破单一区域填充限制。

• 形式语言交集判空算法:创新地将目标语言CFG与表示所有可能完成的正则语言求交,提出高效判空算法,解决了判定复杂度及规模膨胀问题。

• 多场景验证:C++代码填充、JSON结构数据抽取、SMILES化学分子描述等多任务实验,语法正确率近乎100%,功能正确率提升最高达7%,且推理时间开销可控,工业应用具备实用性。

• 支持多种生成范式:涵盖传统左到右前缀完成(pre)、中间填充(FIM)、多区域填充(MRI)及非顺序扩散生成(DLM),填补现有研究空白。

• 运行效率优化:采用定制规范形式、隐式搜索和非生成符号过滤等技术,显著降低交集语言规模,保障判空操作的实用性。

该研究不仅提供了扩散模型可控生成的理论基础和实用方案,也为未来语法严格约束、多区域灵活编辑及上下文复杂语言生成开辟了新方向。详细解读👉 arxiv.org/abs/2508.10111

大模型扩散模型代码生成结构化数据形式语言上下文无关文法约束解码

0 阅读:0
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注