Light-IF : Doter les LLM d'un raisonnement généralisable via la prévisualisation et l'auto-vérification pour le suivi d'instructions complexes

Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following

August 5, 2025

papers.authors: Chenyang Wang, Liang Wen, Shousheng Jia, Xiangzheng Zhang, Liang Xu

cs.AI

papers.abstract

Bien que les progrès dans les capacités de raisonnement des LLM aient considérablement amélioré leurs performances dans la résolution de problèmes mathématiques, de tâches de codage et de casse-têtes généraux, leur efficacité à respecter avec précision les instructions reste inconstante, en particulier avec des directives plus complexes. Notre étude identifie un raisonnement paresseux lors de la phase de réflexion comme le principal facteur contribuant à une mauvaise adhésion aux instructions. Pour atténuer ce problème, nous proposons un cadre complet conçu pour permettre des processus de raisonnement rigoureux incluant une prévisualisation et une auto-vérification, essentielles pour satisfaire des contraintes d'instructions strictes. Plus précisément, nous générons d'abord des instructions avec des contraintes complexes et appliquons un processus de filtrage pour obtenir des prompts valides, aboutissant à trois ensembles de données de prompts distincts classés comme difficiles, faciles et passables. Ensuite, nous utilisons un échantillonnage par rejet sur les prompts passables pour constituer un petit ensemble de données de haute qualité, permettant une initialisation à froid du modèle et facilitant son adaptation à des schémas de raisonnement efficaces. Par la suite, nous employons une stratégie de fine-tuning supervisé préservant l'entropie (Entropy-SFT) couplée à un apprentissage par renforcement adaptatif à l'entropie par token (TEA-RL) guidé par des récompenses denses basées sur des règles. Cette approche encourage le modèle à transformer son mécanisme de raisonnement, favorisant ainsi des capacités de raisonnement généralisables qui incluent la prévisualisation et l'auto-vérification. Des expériences approfondies menées sur des benchmarks de suivi d'instructions démontrent des améliorations de performances remarquables à différentes échelles de modèles. Notamment, notre modèle Light-IF-32B surpasse à la fois les modèles open-source plus grands comme DeepSeek-R1 et les modèles fermés comme Doubao-1.6.

English

While advancements in the reasoning abilities of LLMs have significantly enhanced their performance in solving mathematical problems, coding tasks, and general puzzles, their effectiveness in accurately adhering to instructions remains inconsistent, particularly with more complex directives. Our investigation identifies lazy reasoning during the thinking stage as the primary factor contributing to poor instruction adherence. To mitigate this issue, we propose a comprehensive framework designed to enable rigorous reasoning processes involving preview and self-checking, essential for satisfying strict instruction constraints. Specifically, we first generate instructions with complex constraints and apply a filtering process to obtain valid prompts, resulting in three distinct prompt datasets categorized as hard, easy, and pass. Then, we employ rejection sampling on the pass prompts to curate a small yet high-quality dataset, enabling a cold-start initialization of the model and facilitating its adaptation to effective reasoning patterns. Subsequently, we employ an entropy-preserving supervised fine-tuning (Entropy-SFT) strategy coupled with token-wise entropy-adaptive (TEA-RL) reinforcement learning guided by rule-based dense rewards. This approach encourages the model to transform its reasoning mechanism, ultimately fostering generalizable reasoning abilities that encompass preview and self-checking. Extensive experiments conducted on instruction-following benchmarks demonstrate remarkable performance improvements across various model scales. Notably, our Light-IF-32B model surpasses both larger open-source models such as DeepSeek-R1 and closed-source models like Doubao-1.6.