이제 디코딩은 누가 주도해야 하는가? 마스크 확산 언어 모델 앙상블링을 위한 신뢰할 수 있는 궤적 추적

초록

마스크 확산 언어 모델(Masked Diffusion Language Models, MDLMs)은 시퀀스 생성을 위한 독특한 패러다임으로 부상했다. MDLM이 다양한 능력과 지식 범위를 갖추게 됨에 따라, 이들 모델의 지식을 결합하는 방법이 중요한 질문으로 대두된다. 이를 위해 먼저 MDLM의 고유한 디코딩 동역학을 조사한다. 성공적인 생성은 답변 관련 위치에서 안정적인 신뢰도 동역학을 보이는 반면, 신뢰할 수 없는 궤적은 종종 다른 모델의 유망한 중간 상태를 주입함으로써 교정될 수 있음을 발견했다. 이러한 관찰에 기초하여, 우리는 MDLM이 신뢰할 수 있는 디코딩 궤적을 반복적으로 식별하고 이를 모델 간에 중계하는 지식 융합 프레임워크인 TIE(궤적 기반 반복 앙상블, Trajectory-based Iterative Ensembling)를 제안한다. TIE는 답변 관련 위치에 대한 신뢰도 동역학을 추적하여 어떤 모델이 현재 더 신뢰할 수 있는 궤적을 따르고 있는지 판단하고, 부분적으로 잡음이 제거된 시퀀스를 선택적으로 모델 간에 전달한다. 더 유망한 궤적 위의 모델은 잡음 제거 단계에 따라 자주 바뀌므로, TIE는 서로 다른 모델이 생성의 여러 단계에서 상호 보완적인 강점을 기여할 수 있도록 한다. 다양한 추론 과제에서의 강력한 성능과 함께, 본 분석은 TIE가 아직 충분히 탐구되지 않은 MDLM 앙상블 문제에 대한 실용적 접근법을 제공함을 시사한다.

English

Masked Diffusion Language Models (MDLMs) have emerged as a distinct paradigm for sequence generation. As MDLMs become diverse in capabilities and knowledge coverage, an important question is how to combine their knowledge. Toward this, we first investigate the unique decoding dynamics of MDLMs. We find that successful generations exhibit stable confidence dynamics over answer-relevant positions, while unreliable trajectories can often be corrected by injecting promising intermediate states from other models. Guided by this observation, we propose TIE (Trajectory-based Iterative Ensembling), a knowledge fusion framework in which MDLMs iteratively identify reliable decoding trajectories and relay them across models. TIE tracks confidence dynamics over answer-relevant positions to determine which model currently follows a more reliable trajectory and selectively transfers partially denoised sequences across models. As the model on the more promising trajectory often changes across denoising steps, TIE allows different models to contribute complementary strengths at different stages of generation. Strong performance across diverse reasoning tasks, along with our analyses, suggests that TIE offers a practical approach to the underexplored problem of MDLM ensembling.