CRANE: Razonamiento con generación de LLM restringida

CRANE: Reasoning with constrained LLM generation

February 13, 2025

Autores: Debangshu Banerjee, Tarun Suresh, Shubham Ugare, Sasa Misailovic, Gagandeep Singh

cs.AI

Resumen

La generación de código, el razonamiento matemático simbólico y otras tareas requieren que las LLM produzcan salidas que sean tanto sintáctica como semánticamente correctas. La generación de LLMs restringidas es una dirección prometedora para hacer cumplir la adhesión a la gramática formal, pero trabajos previos han observado empíricamente que la aplicación estricta de restricciones formales a menudo disminuye las capacidades de razonamiento de las LLMs. En este trabajo, primero proporcionamos una explicación teórica de por qué restringir las salidas de las LLMs a gramáticas muy restrictivas que solo permiten respuestas finales sintácticamente válidas reduce las capacidades de razonamiento del modelo. En segundo lugar, demostramos que al agregar reglas adicionales cuidadosamente diseñadas a la gramática de salida, siempre es posible preservar las capacidades de razonamiento de la LLM mientras se garantiza la corrección sintáctica y semántica en sus salidas. Basándonos en estas ideas teóricas, proponemos un algoritmo de decodificación restringida aumentado con razonamiento, CRANE, que equilibra eficazmente la corrección de la generación restringida con la flexibilidad de la generación no restringida. Experimentos realizados en múltiples LLMs de código abierto y pruebas muestran que CRANE supera significativamente tanto las estrategias de decodificación restringida de vanguardia como la decodificación no restringida estándar, mostrando hasta un 10% de mejora en precisión sobre los puntos de referencia en desafiantes pruebas de razonamiento simbólico GSM-symbolic y FOLIO.

English

Code generation, symbolic math reasoning, and other tasks require LLMs to produce outputs that are both syntactically and semantically correct. Constrained LLM generation is a promising direction to enforce adherence to formal grammar, but prior works have empirically observed that strict enforcement of formal constraints often diminishes the reasoning capabilities of LLMs. In this work, we first provide a theoretical explanation for why constraining LLM outputs to very restrictive grammars that only allow syntactically valid final answers reduces the reasoning capabilities of the model. Second, we demonstrate that by augmenting the output grammar with carefully designed additional rules, it is always possible to preserve the reasoning capabilities of the LLM while ensuring syntactic and semantic correctness in its outputs. Building on these theoretical insights, we propose a reasoning-augmented constrained decoding algorithm, CRANE, which effectively balances the correctness of constrained generation with the flexibility of unconstrained generation. Experiments on multiple open-source LLMs and benchmarks show that CRANE significantly outperforms both state-of-the-art constrained decoding strategies and standard unconstrained decoding, showing up to 10% points accuracy improvement over baselines on challenging symbolic reasoning benchmarks GSM-symbolic and FOLIO.