Light-IF: Dotando a los LLMs de razonamiento generalizable mediante la previsualización y la autoverificación para el seguimiento de instrucciones complejas

Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following

August 5, 2025

Autores: Chenyang Wang, Liang Wen, Shousheng Jia, Xiangzheng Zhang, Liang Xu

cs.AI

Resumen

Si bien los avances en las capacidades de razonamiento de los LLM han mejorado significativamente su desempeño en la resolución de problemas matemáticos, tareas de programación y acertijos generales, su eficacia para adherirse con precisión a las instrucciones sigue siendo inconsistente, particularmente con directivas más complejas. Nuestra investigación identifica el razonamiento perezoso durante la etapa de pensamiento como el factor principal que contribuye a una mala adherencia a las instrucciones. Para mitigar este problema, proponemos un marco integral diseñado para habilitar procesos de razonamiento rigurosos que incluyen la previsualización y la autoverificación, esenciales para satisfacer restricciones estrictas de instrucciones. Específicamente, primero generamos instrucciones con restricciones complejas y aplicamos un proceso de filtrado para obtener indicaciones válidas, lo que resulta en tres conjuntos de datos de indicaciones categorizados como difíciles, fáciles y de paso. Luego, empleamos muestreo por rechazo en las indicaciones de paso para curar un conjunto de datos pequeño pero de alta calidad, permitiendo una inicialización de arranque en frío del modelo y facilitando su adaptación a patrones de razonamiento efectivos. Posteriormente, empleamos una estrategia de ajuste fino supervisado que preserva la entropía (Entropy-SFT) junto con un aprendizaje por refuerzo adaptativo de entropía por token (TEA-RL) guiado por recompensas densas basadas en reglas. Este enfoque fomenta que el modelo transforme su mecanismo de razonamiento, promoviendo finalmente habilidades de razonamiento generalizables que incluyen la previsualización y la autoverificación. Experimentos extensos realizados en puntos de referencia de seguimiento de instrucciones demuestran mejoras notables en el rendimiento en varias escalas de modelos. En particular, nuestro modelo Light-IF-32B supera tanto a modelos de código abierto más grandes como DeepSeek-R1 como a modelos de código cerrado como Doubao-1.6.

English

While advancements in the reasoning abilities of LLMs have significantly enhanced their performance in solving mathematical problems, coding tasks, and general puzzles, their effectiveness in accurately adhering to instructions remains inconsistent, particularly with more complex directives. Our investigation identifies lazy reasoning during the thinking stage as the primary factor contributing to poor instruction adherence. To mitigate this issue, we propose a comprehensive framework designed to enable rigorous reasoning processes involving preview and self-checking, essential for satisfying strict instruction constraints. Specifically, we first generate instructions with complex constraints and apply a filtering process to obtain valid prompts, resulting in three distinct prompt datasets categorized as hard, easy, and pass. Then, we employ rejection sampling on the pass prompts to curate a small yet high-quality dataset, enabling a cold-start initialization of the model and facilitating its adaptation to effective reasoning patterns. Subsequently, we employ an entropy-preserving supervised fine-tuning (Entropy-SFT) strategy coupled with token-wise entropy-adaptive (TEA-RL) reinforcement learning guided by rule-based dense rewards. This approach encourages the model to transform its reasoning mechanism, ultimately fostering generalizable reasoning abilities that encompass preview and self-checking. Extensive experiments conducted on instruction-following benchmarks demonstrate remarkable performance improvements across various model scales. Notably, our Light-IF-32B model surpasses both larger open-source models such as DeepSeek-R1 and closed-source models like Doubao-1.6.