Qui devrait maintenant guider le décodage ? Suivi de trajectoires fiables pour l'ensemblage de modèles de langage à diffusion masquée

Résumé

Les modèles de langage à diffusion masquée (MDLM) sont devenus un paradigme distinct pour la génération de séquences. À mesure que les MDLM se diversifient en termes de capacités et de couverture des connaissances, une question importante est de savoir comment combiner leurs connaissances. Pour ce faire, nous étudions d'abord la dynamique de décodage unique des MDLM. Nous constatons que les générations réussies présentent une dynamique de confiance stable sur les positions pertinentes pour la réponse, tandis que les trajectoires non fiables peuvent souvent être corrigées en injectant des états intermédiaires prometteurs provenant d'autres modèles. Guidés par cette observation, nous proposons TIE (Trajectory-based Iterative Ensembling), un cadre de fusion des connaissances dans lequel les MDLM identifient de manière itérative des trajectoires de décodage fiables et les relaient entre les modèles. TIE suit la dynamique de confiance sur les positions pertinentes pour la réponse afin de déterminer quel modèle suit actuellement une trajectoire plus fiable et transfère sélectivement des séquences partiellement débruitées entre les modèles. Comme le modèle sur la trajectoire la plus prometteuse change souvent au fil des étapes de débruitage, TIE permet à différents modèles d'apporter des forces complémentaires à différentes étapes de la génération. Les performances élevées dans diverses tâches de raisonnement, ainsi que nos analyses, suggèrent que TIE offre une approche pratique au problème peu exploré de l'ensemblage de MDLM.

English

Masked Diffusion Language Models (MDLMs) have emerged as a distinct paradigm for sequence generation. As MDLMs become diverse in capabilities and knowledge coverage, an important question is how to combine their knowledge. Toward this, we first investigate the unique decoding dynamics of MDLMs. We find that successful generations exhibit stable confidence dynamics over answer-relevant positions, while unreliable trajectories can often be corrected by injecting promising intermediate states from other models. Guided by this observation, we propose TIE (Trajectory-based Iterative Ensembling), a knowledge fusion framework in which MDLMs iteratively identify reliable decoding trajectories and relay them across models. TIE tracks confidence dynamics over answer-relevant positions to determine which model currently follows a more reliable trajectory and selectively transfers partially denoised sequences across models. As the model on the more promising trajectory often changes across denoising steps, TIE allows different models to contribute complementary strengths at different stages of generation. Strong performance across diverse reasoning tasks, along with our analyses, suggests that TIE offers a practical approach to the underexplored problem of MDLM ensembling.