Decodificación de Refinamiento Latente: Mejoramiento de Modelos de Lenguaje Basados en Difusión mediante el Refinamiento de Estados de Creencia

Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States

October 13, 2025

Autores: Qinglin Zhu, Yizhen Yao, Runcong Zhao, Yanzheng Xiang, Amrutha Saseendran, Chen Jin, Philip Alexander Teare, Bin Liang, Yulan He, Lin Gui

cs.AI

Resumen

Los modelos autorregresivos (AR) siguen siendo el estándar para la generación de lenguaje natural, pero aún sufren de alta latencia debido a la decodificación estrictamente secuencial. Enfoques recientes inspirados en difusión, como LlaDA y Dream, mitigan esto generando en paralelo, aunque presentan dos limitaciones principales: la pérdida de información, ya que las distribuciones predictivas para tokens no finalizados se descartan en cada paso, y el compromiso prematuro, donde se toman decisiones locales sin una coordinación global suficiente. Introducimos Latent Refinement Decoding (LRD), un marco de dos etapas con Refinamiento Latente y un Bucle de Retroalimentación Predictiva. La primera etapa mantiene posiciones enmascaradas como mezclas distribucionales de tokens predichos y la incrustación de la máscara, permitiendo que el modelo establezca creencias más consistentes a nivel global. La segunda etapa finaliza progresivamente los tokens confiables mientras retiene los inciertos para una retroalimentación iterativa. La dinámica de divergencia KL proporciona un criterio fundamentado y confiable para la convergencia y la detención temprana. Los experimentos en tareas de codificación (HumanEval +6.3, MBPP +2.6) y razonamiento (GSM8K +2.9, MATH500 +3.8) muestran que LRD mejora la precisión mientras ofrece aceleraciones de hasta 10.6x, convirtiéndolo en una alternativa sólida y versátil para la generación paralela de secuencias.

English

Autoregressive (AR) models remain the standard for natural language generation but still suffer from high latency due to strictly sequential decoding. Recent diffusion-inspired approaches, such as LlaDA and Dream, mitigate this by generating in parallel, yet they suffer from two core limitations: information loss, as predictive distributions for non-finalized tokens are discarded at each step, and premature commitment, where local decisions are made without sufficient global coordination. We introduce Latent Refinement Decoding (LRD), a two-stage framework with Latent Refinement and a Predictive Feedback Loop. The first stage maintains masked positions as distributional mixtures of predicted tokens and the mask embedding, allowing the model to establish more globally consistent beliefs. The second stage progressively finalizes confident tokens while retaining uncertain ones for iterative feedback. KL-divergence dynamics provide a principled and reliable criterion for convergence and early stopping. Experiments across coding (HumanEval +6.3, MBPP +2.6) and reasoning (GSM8K +2.9, MATH500 +3.8) show that LRD improves accuracy while delivering speedups of up to 10.6x, making it a strong and versatile alternative for parallel sequence generation.