La trampa de la flexibilidad: por qué los límites de orden arbitrarios restringen el potencial de razonamiento en los modelos de lenguaje de difusión

The Flexibility Trap: Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models

January 21, 2026

Autores: Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, Cheng Yu, Bo Zheng, Gao Huang

cs.AI

Resumen

Los Modelos de Lenguaje Grandes de Difusión (dLLMs) rompen la rígida restricción de izquierda a derecha de los LLMs tradicionales, permitiendo la generación de tokens en órdenes arbitrarios. Intuitivamente, esta flexibilidad implica un espacio de soluciones que es un superconjunto estricto de la trayectoria autorregresiva fija, desbloqueando teóricamente un potencial de razonamiento superior para tareas generales como matemáticas y codificación. En consecuencia, numerosos trabajos han utilizado el aprendizaje por refuerzo (RL) para elicitar la capacidad de razonamiento de los dLLMs. En este artículo, revelamos una realidad contraintuitiva: la generación de orden arbitrario, en su forma actual, reduce en lugar de expandir el límite de razonamiento de los dLLMs. Descubrimos que los dLLMs tienden a explotar esta flexibilidad de orden para eludir tokens de alta incertidumbre que son cruciales para la exploración, lo que conduce a un colapso prematuro del espacio de soluciones. Esta observación desafía la premisa de los enfoques de RL existentes para dLLMs, donde se suelen dedicar considerables complejidades, como manejar trayectorias combinatorias y verosimilitudes intratables, para preservar esta flexibilidad. Demostramos que el razonamiento efectivo se elicita mejor al renunciar intencionadamente al orden arbitrario y aplicar en su lugar la Optimización de Política Relativa de Grupo (GRPO) estándar. Nuestro enfoque, JustGRPO, es minimalista pero sorprendentemente efectivo (por ejemplo, 89.1% de precisión en GSM8K) mientras retiene completamente la capacidad de decodificación paralela de los dLLMs. Página del proyecto: https://nzl-thu.github.io/the-flexibility-trap

English

Diffusion Large Language Models (dLLMs) break the rigid left-to-right constraint of traditional LLMs, enabling token generation in arbitrary orders. Intuitively, this flexibility implies a solution space that strictly supersets the fixed autoregressive trajectory, theoretically unlocking superior reasoning potential for general tasks like mathematics and coding. Consequently, numerous works have leveraged reinforcement learning (RL) to elicit the reasoning capability of dLLMs. In this paper, we reveal a counter-intuitive reality: arbitrary order generation, in its current form, narrows rather than expands the reasoning boundary of dLLMs. We find that dLLMs tend to exploit this order flexibility to bypass high-uncertainty tokens that are crucial for exploration, leading to a premature collapse of the solution space. This observation challenges the premise of existing RL approaches for dLLMs, where considerable complexities, such as handling combinatorial trajectories and intractable likelihoods, are often devoted to preserving this flexibility. We demonstrate that effective reasoning is better elicited by intentionally forgoing arbitrary order and applying standard Group Relative Policy Optimization (GRPO) instead. Our approach, JustGRPO, is minimalist yet surprisingly effective (e.g., 89.1% accuracy on GSM8K) while fully retaining the parallel decoding ability of dLLMs. Project page: https://nzl-thu.github.io/the-flexibility-trap