Posso Prendere La Tua Ordinazione? Ricerca Ad Albero Monte-Carlo per l'Ordinamento degli Slot nei Modelli Linguistici di Diffusione

Can I Have Your Order? Monte-Carlo Tree Search for Slot Filling Ordering in Diffusion Language Models

February 13, 2026

Autori: Joshua Ong Jun Leang, Yu Zhao, Mihaela Cătălina Stoian, Wenda Li, Shay B. Cohen, Eleonora Giunchiglia

cs.AI

Abstract

Sebbene la decodifica plan-and-infill nei Modelli di Diffusione con Mascheramento (MDM) mostri potenzialità per il ragionamento matematico e nella generazione di codice, le prestazioni rimangono altamente sensibili all'ordine di riempimento degli slot, producendo spesso una variazione sostanziale dell'output. Introduciamo McDiffuSE, un framework che formula la selezione degli slot come un processo decisionale e ottimizza gli ordine di riempimento attraverso la Ricerca ad Albero Monte Carlo (MCTS). McDiffuSE utilizza simulazioni di look-ahead per valutare i completamenti parziali prima del commitment, esplorando sistematicamente lo spazio combinatorio degli ordine di generazione. Gli esperimenti mostrano un miglioramento medio del 3,2% rispetto ai baseline autoregressivi e dell'8,0% rispetto al baseline plan-and-infill, con guadagni significativi del 19,5% su MBPP e del 4,9% su MATH500. La nostra analisi rivela che, sebbene McDiffuSE segua prevalentemente un ordinamento sequenziale, l'incorporazione di una generazione non sequenziale è essenziale per massimizzare le prestazioni. Osserviamo che costanti di esplorazione più ampie, piuttosto che un aumento delle simulazioni, sono necessarie per superare i bias di confidenza del modello e scoprire ordinamenti efficaci. Questi risultati stabiliscono la pianificazione basata su MCTS come un approccio efficace per migliorare la qualità della generazione negli MDM.

English

While plan-and-infill decoding in Masked Diffusion Models (MDMs) shows promise for mathematical and code reasoning, performance remains highly sensitive to slot infilling order, often yielding substantial output variance. We introduce McDiffuSE, a framework that formulates slot selection as decision making and optimises infilling orders through Monte Carlo Tree Search (MCTS). McDiffuSE uses look-ahead simulations to evaluate partial completions before commitment, systematically exploring the combinatorial space of generation orders. Experiments show an average improvement of 3.2% over autoregressive baselines and 8.0% over baseline plan-and-infill, with notable gains of 19.5% on MBPP and 4.9% on MATH500. Our analysis reveals that while McDiffuSE predominantly follows sequential ordering, incorporating non-sequential generation is essential for maximising performance. We observe that larger exploration constants, rather than increased simulations, are necessary to overcome model confidence biases and discover effective orderings. These findings establish MCTS-based planning as an effective approach for enhancing generation quality in MDMs.