Кто должен возглавить декодирование сейчас? Отслеживание надежных траекторий для ансамблирования маскированных диффузионных языковых моделей

Аннотация

Маскированные диффузионные языковые модели (MDLM) стали отдельной парадигмой для генерации последовательностей. По мере того как MDLM становятся разнообразными по своим возможностям и охвату знаний, возникает важный вопрос: как объединить их знания. Для этого мы сначала исследуем уникальную динамику декодирования MDLM. Мы обнаруживаем, что успешные генерации демонстрируют стабильную динамику уверенности на позициях, релевантных ответу, в то время как ненадёжные траектории часто можно скорректировать, внедряя многообещающие промежуточные состояния из других моделей. Руководствуясь этим наблюдением, мы предлагаем TIE (Trajectory-based Iterative Ensembling — итеративное ансамблирование на основе траекторий) — фреймворк для слияния знаний, в котором MDLM итеративно определяют надёжные траектории декодирования и передают их между моделями. TIE отслеживает динамику уверенности на релевантных ответу позициях, чтобы определить, какая модель в данный момент следует более надёжной траектории, и выборочно передаёт частично очищенные от шума последовательности между моделями. Поскольку модель на более многообещающей траектории часто меняется на разных шагах шумоподавления, TIE позволяет разным моделям вносить взаимодополняющие сильные стороны на различных этапах генерации. Высокая производительность на разнообразных задачах рассуждения в сочетании с нашим анализом указывает на то, что TIE предлагает практический подход к недостаточно изученной проблеме ансамблирования MDLM.

English

Masked Diffusion Language Models (MDLMs) have emerged as a distinct paradigm for sequence generation. As MDLMs become diverse in capabilities and knowledge coverage, an important question is how to combine their knowledge. Toward this, we first investigate the unique decoding dynamics of MDLMs. We find that successful generations exhibit stable confidence dynamics over answer-relevant positions, while unreliable trajectories can often be corrected by injecting promising intermediate states from other models. Guided by this observation, we propose TIE (Trajectory-based Iterative Ensembling), a knowledge fusion framework in which MDLMs iteratively identify reliable decoding trajectories and relay them across models. TIE tracks confidence dynamics over answer-relevant positions to determine which model currently follows a more reliable trajectory and selectively transfers partially denoised sequences across models. As the model on the more promising trajectory often changes across denoising steps, TIE allows different models to contribute complementary strengths at different stages of generation. Strong performance across diverse reasoning tasks, along with our analyses, suggests that TIE offers a practical approach to the underexplored problem of MDLM ensembling.