Decodificação de Refinamento Latente: Aprimorando Modelos de Linguagem Baseados em Difusão por meio do Refinamento de Estados de Crença

Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States

October 13, 2025

Autores: Qinglin Zhu, Yizhen Yao, Runcong Zhao, Yanzheng Xiang, Amrutha Saseendran, Chen Jin, Philip Alexander Teare, Bin Liang, Yulan He, Lin Gui

cs.AI

Resumo

Os modelos autoregressivos (AR) continuam sendo o padrão para geração de linguagem natural, mas ainda sofrem com alta latência devido à decodificação estritamente sequencial. Abordagens recentes inspiradas em difusão, como LlaDA e Dream, mitigam isso gerando em paralelo, mas enfrentam duas limitações principais: perda de informação, já que as distribuições preditivas para tokens não finalizados são descartadas a cada passo, e comprometimento prematuro, onde decisões locais são tomadas sem coordenação global suficiente. Introduzimos o Decodificação com Refinamento Latente (LRD), um framework de dois estágios com Refinamento Latente e um Loop de Feedback Preditivo. O primeiro estágio mantém posições mascaradas como misturas distribucionais de tokens previstos e a incorporação de máscara, permitindo que o modelo estabeleça crenças mais consistentes globalmente. O segundo estágio finaliza progressivamente tokens confiantes enquanto retém os incertos para feedback iterativo. A dinâmica da divergência KL fornece um critério confiável e fundamentado para convergência e parada antecipada. Experimentos em codificação (HumanEval +6.3, MBPP +2.6) e raciocínio (GSM8K +2.9, MATH500 +3.8) mostram que o LRD melhora a precisão enquanto oferece acelerações de até 10.6x, tornando-o uma alternativa forte e versátil para geração paralela de sequências.

English

Autoregressive (AR) models remain the standard for natural language generation but still suffer from high latency due to strictly sequential decoding. Recent diffusion-inspired approaches, such as LlaDA and Dream, mitigate this by generating in parallel, yet they suffer from two core limitations: information loss, as predictive distributions for non-finalized tokens are discarded at each step, and premature commitment, where local decisions are made without sufficient global coordination. We introduce Latent Refinement Decoding (LRD), a two-stage framework with Latent Refinement and a Predictive Feedback Loop. The first stage maintains masked positions as distributional mixtures of predicted tokens and the mask embedding, allowing the model to establish more globally consistent beliefs. The second stage progressively finalizes confident tokens while retaining uncertain ones for iterative feedback. KL-divergence dynamics provide a principled and reliable criterion for convergence and early stopping. Experiments across coding (HumanEval +6.3, MBPP +2.6) and reasoning (GSM8K +2.9, MATH500 +3.8) show that LRD improves accuracy while delivering speedups of up to 10.6x, making it a strong and versatile alternative for parallel sequence generation.