La trappola della flessibilità: perché i limiti d'ordine arbitrari compromettono il potenziale deduttivo nei modelli linguistici basati su diffusione

The Flexibility Trap: Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models

January 21, 2026

Autori: Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, Cheng Yu, Bo Zheng, Gao Huang

cs.AI

Abstract

I modelli linguistici basati su diffusione (dLLM) infrangono il rigido vincolo sinistra-destra dei tradizionali LLM, consentendo la generazione di token in ordini arbitrari. Intuitivamente, questa flessibilità implica uno spazio delle soluzioni che sovrainsieme strettamente la traiettoria autoregressiva fissa, sbloccando teoricamente un potenziale di ragionamento superiore per compiti generali come la matematica e la codifica. Di conseguenza, numerosi lavori hanno utilizzato l'apprendimento per rinforzo (RL) per elicitare la capacità di ragionamento dei dLLM. In questo articolo, riveliamo una realtà controintuitiva: la generazione di ordine arbitrario, nella sua forma attuale, restringe piuttosto che espandere il confine del ragionamento dei dLLM. Troviamo che i dLLM tendono a sfruttare questa flessibilità d'ordine per aggirare token ad alta incertezza che sono cruciali per l'esplorazione, portando a un collasso prematuro dello spazio delle soluzioni. Questa osservazione sfida la premessa degli approcci RL esistenti per i dLLM, dove complessità considerevoli, come la gestione di traiettorie combinatorie e verosimiglianze intrattabili, sono spesso dedicate a preservare questa flessibilità. Dimostriamo che un ragionamento efficace è meglio elicitato rinunciando intenzionalmente all'ordine arbitrario e applicando invece la standard Group Relative Policy Optimization (GRPO). Il nostro approccio, JustGRPO, è minimalista ma sorprendentemente efficace (ad esempio, 89.1% di accuratezza su GSM8K) pur conservando pienamente la capacità di decodifica parallela dei dLLM. Pagina del progetto: https://nzl-thu.github.io/the-flexibility-trap

English

Diffusion Large Language Models (dLLMs) break the rigid left-to-right constraint of traditional LLMs, enabling token generation in arbitrary orders. Intuitively, this flexibility implies a solution space that strictly supersets the fixed autoregressive trajectory, theoretically unlocking superior reasoning potential for general tasks like mathematics and coding. Consequently, numerous works have leveraged reinforcement learning (RL) to elicit the reasoning capability of dLLMs. In this paper, we reveal a counter-intuitive reality: arbitrary order generation, in its current form, narrows rather than expands the reasoning boundary of dLLMs. We find that dLLMs tend to exploit this order flexibility to bypass high-uncertainty tokens that are crucial for exploration, leading to a premature collapse of the solution space. This observation challenges the premise of existing RL approaches for dLLMs, where considerable complexities, such as handling combinatorial trajectories and intractable likelihoods, are often devoted to preserving this flexibility. We demonstrate that effective reasoning is better elicited by intentionally forgoing arbitrary order and applying standard Group Relative Policy Optimization (GRPO) instead. Our approach, JustGRPO, is minimalist yet surprisingly effective (e.g., 89.1% accuracy on GSM8K) while fully retaining the parallel decoding ability of dLLMs. Project page: https://nzl-thu.github.io/the-flexibility-trap