Incentivizando el razonamiento para el seguimiento avanzado de instrucciones en modelos de lenguaje de gran escala

Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models

June 2, 2025

Autores: Yulei Qin, Gang Li, Zongyi Li, Zihan Xu, Yuchen Shi, Zhekai Lin, Xiao Cui, Ke Li, Xing Sun

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) existentes enfrentan desafíos al seguir instrucciones complejas, especialmente cuando están presentes múltiples restricciones organizadas en estructuras paralelas, encadenadas y ramificadas. Una solución intuitiva, conocida como cadena de pensamiento (CoT), se espera que mejore universalmente las capacidades de los LLMs. Sin embargo, encontramos que la CoT básica ejerce un impacto negativo en el rendimiento debido a su patrón de razonamiento superficial que simplemente parafrasea las instrucciones. No logra descomponer las restricciones para identificar su relación a través de jerarquías de tipos y dimensiones. Para abordar esto, proponemos un método sistemático para potenciar a los LLMs en el manejo de instrucciones complejas mediante la incentivación del razonamiento para la escalabilidad del cómputo en tiempo de prueba. Primero, partimos de la descomposición de instrucciones complejas bajo taxonomías existentes y proponemos un método reproducible de adquisición de datos. Segundo, utilizamos aprendizaje por refuerzo (RL) con señales de recompensa centradas en reglas verificables para cultivar el razonamiento específicamente para el seguimiento de instrucciones. Abordamos la naturaleza superficial y no esencial del razonamiento bajo instrucciones complejas mediante contraste por muestra para una aplicación superior de CoT. También aprovechamos la clonación de comportamiento de expertos para facilitar un cambio de distribución estable desde LLMs de pensamiento rápido hacia razonadores hábiles. Evaluaciones extensas en siete benchmarks completos confirman la validez del método propuesto, donde un LLM de 1.5B logra mejoras del 11.74% con un rendimiento comparable a un LLM de 8B. Los códigos y datos están disponibles en https://github.com/yuleiqin/RAIF.

English

Existing large language models (LLMs) face challenges of following complex instructions, especially when multiple constraints are present and organized in paralleling, chaining, and branching structures. One intuitive solution, namely chain-of-thought (CoT), is expected to universally improve capabilities of LLMs. However, we find that the vanilla CoT exerts a negative impact on performance due to its superficial reasoning pattern of simply paraphrasing the instructions. It fails to peel back the compositions of constraints for identifying their relationship across hierarchies of types and dimensions. To this end, we propose a systematic method to boost LLMs in dealing with complex instructions via incentivizing reasoning for test-time compute scaling. First, we stem from the decomposition of complex instructions under existing taxonomies and propose a reproducible data acquisition method. Second, we exploit reinforcement learning (RL) with verifiable rule-centric reward signals to cultivate reasoning specifically for instruction following. We address the shallow, non-essential nature of reasoning under complex instructions via sample-wise contrast for superior CoT enforcement. We also exploit behavior cloning of experts to facilitate steady distribution shift from fast-thinking LLMs to skillful reasoners. Extensive evaluations on seven comprehensive benchmarks confirm the validity of the proposed method, where a 1.5B LLM achieves 11.74% gains with performance comparable to a 8B LLM. Codes and data are available at https://github.com/yuleiqin/RAIF.