¿Quién debería liderar la decodificación ahora? Seguimiento de trayectorias fiables para el ensamblaje de modelos de lenguaje de difusión enmascarada

Resumen

Los Modelos de Lenguaje con Difusión Enmascarada (MDLM, por sus siglas en inglés) han surgido como un paradigma distintivo para la generación de secuencias. A medida que los MDLM se vuelven diversos en capacidades y cobertura de conocimiento, surge una pregunta importante: cómo combinar su conocimiento. Con este fin, primero investigamos las dinámicas de decodificación únicas de los MDLM. Descubrimos que las generaciones exitosas exhiben dinámicas de confianza estables sobre posiciones relevantes para la respuesta, mientras que las trayectorias poco fiables a menudo pueden corregirse inyectando estados intermedios prometedores de otros modelos. Guiados por esta observación, proponemos TIE (Ensamblaje Iterativo Basado en Trayectorias), un marco de fusión de conocimiento en el cual los MDLM identifican iterativamente trayectorias de decodificación fiables y las retransmiten entre modelos. TIE rastrea las dinámicas de confianza sobre posiciones relevantes para la respuesta para determinar qué modelo sigue actualmente una trayectoria más fiable y transfiere selectivamente secuencias parcialmente denoizadas entre modelos. Dado que el modelo en la trayectoria más prometedora a menudo cambia entre pasos de denoizado, TIE permite que diferentes modelos contribuyan con fortalezas complementarias en distintas etapas de la generación. El sólido rendimiento en diversas tareas de razonamiento, junto con nuestros análisis, sugiere que TIE ofrece un enfoque práctico para el problema poco explorado del ensamblaje de MDLM.

English

Masked Diffusion Language Models (MDLMs) have emerged as a distinct paradigm for sequence generation. As MDLMs become diverse in capabilities and knowledge coverage, an important question is how to combine their knowledge. Toward this, we first investigate the unique decoding dynamics of MDLMs. We find that successful generations exhibit stable confidence dynamics over answer-relevant positions, while unreliable trajectories can often be corrected by injecting promising intermediate states from other models. Guided by this observation, we propose TIE (Trajectory-based Iterative Ensembling), a knowledge fusion framework in which MDLMs iteratively identify reliable decoding trajectories and relay them across models. TIE tracks confidence dynamics over answer-relevant positions to determine which model currently follows a more reliable trajectory and selectively transfers partially denoised sequences across models. As the model on the more promising trajectory often changes across denoising steps, TIE allows different models to contribute complementary strengths at different stages of generation. Strong performance across diverse reasoning tasks, along with our analyses, suggests that TIE offers a practical approach to the underexplored problem of MDLM ensembling.