Darf ich Ihre Bestellung aufnehmen? Monte-Carlo-Baumsuche zur Reihenfolgenbestimmung bei der Slot-Füllung in diffusiven Sprachmodellen

Can I Have Your Order? Monte-Carlo Tree Search for Slot Filling Ordering in Diffusion Language Models

February 13, 2026

papers.authors: Joshua Ong Jun Leang, Yu Zhao, Mihaela Cătălina Stoian, Wenda Li, Shay B. Cohen, Eleonora Giunchiglia

cs.AI

papers.abstract

Während die Plan-und-Füllen-Decodierung in Masked Diffusion Models (MDMs) vielversprechend für mathematisches und Code-basiertes Reasoning ist, bleibt die Leistung stark anfällig für die Reihenfolge des Slot-Füllens, was oft zu erheblichen Ausgabevarianzen führt. Wir stellen McDiffuSE vor, ein Framework, das die Slot-Auswahl als Entscheidungsfindung formuliert und die Füllreihenfolgen durch Monte-Carlo-Baumsuche (MCTS) optimiert. McDiffuSE nutzt Look-ahead-Simulationen, um partielle Vervollständigungen vor der endgültigen Festlegung zu bewerten und erkundet systematisch den kombinatorischen Raum der Generierungsreihenfolgen. Experimente zeigen eine durchschnittliche Verbesserung von 3,2 % gegenüber autoregressiven Baseline-Modellen und 8,0 % gegenüber der Plan-und-Füllen-Baseline, mit bemerkenswerten Steigerungen von 19,5 % auf MBPP und 4,9 % auf MATH500. Unsere Analyse zeigt, dass McDiffuSE zwar überwiegend einer sequenziellen Reihenfolge folgt, die Einbeziehung nicht-sequenzieller Generierung jedoch entscheidend für die Leistungsmaximierung ist. Wir beobachten, dass größere Explorationskonstanten – und nicht eine erhöhte Anzahl von Simulationen – notwendig sind, um Modellkonfidenzverzerrungen zu überwinden und effektive Reihenfolgen zu entdecken. Diese Ergebnisse etablieren MCTS-basierte Planung als einen effektiven Ansatz zur Steigerung der Generierungsqualität in MDMs.

English

While plan-and-infill decoding in Masked Diffusion Models (MDMs) shows promise for mathematical and code reasoning, performance remains highly sensitive to slot infilling order, often yielding substantial output variance. We introduce McDiffuSE, a framework that formulates slot selection as decision making and optimises infilling orders through Monte Carlo Tree Search (MCTS). McDiffuSE uses look-ahead simulations to evaluate partial completions before commitment, systematically exploring the combinatorial space of generation orders. Experiments show an average improvement of 3.2% over autoregressive baselines and 8.0% over baseline plan-and-infill, with notable gains of 19.5% on MBPP and 4.9% on MATH500. Our analysis reveals that while McDiffuSE predominantly follows sequential ordering, incorporating non-sequential generation is essential for maximising performance. We observe that larger exploration constants, rather than increased simulations, are necessary to overcome model confidence biases and discover effective orderings. These findings establish MCTS-based planning as an effective approach for enhancing generation quality in MDMs.