Light-IF: Capacitando LLMs com Raciocínio Generalizável por meio de Pré-visualização e Auto-verificação para Seguimento Complexo de Instruções

Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following

August 5, 2025

Autores: Chenyang Wang, Liang Wen, Shousheng Jia, Xiangzheng Zhang, Liang Xu

cs.AI

Resumo

Embora os avanços nas habilidades de raciocínio dos LLMs tenham melhorado significativamente seu desempenho na resolução de problemas matemáticos, tarefas de codificação e quebra-cabeças gerais, sua eficácia em aderir com precisão a instruções permanece inconsistente, especialmente com diretrizes mais complexas. Nossa investigação identifica o raciocínio preguiçoso durante a etapa de pensamento como o principal fator que contribui para a má adesão às instruções. Para mitigar esse problema, propomos um framework abrangente projetado para permitir processos de raciocínio rigorosos que envolvem pré-visualização e auto-verificação, essenciais para satisfazer restrições de instruções rigorosas. Especificamente, primeiro geramos instruções com restrições complexas e aplicamos um processo de filtragem para obter prompts válidos, resultando em três conjuntos de dados de prompts distintos categorizados como difíceis, fáceis e de aprovação. Em seguida, empregamos amostragem por rejeição nos prompts de aprovação para criar um conjunto de dados pequeno, porém de alta qualidade, permitindo uma inicialização a frio do modelo e facilitando sua adaptação a padrões de raciocínio eficazes. Posteriormente, empregamos uma estratégia de ajuste fino supervisionado que preserva a entropia (Entropy-SFT) combinada com aprendizado por reforço adaptativo à entropia por token (TEA-RL), guiado por recompensas densas baseadas em regras. Essa abordagem incentiva o modelo a transformar seu mecanismo de raciocínio, promovendo, por fim, habilidades de raciocínio generalizáveis que abrangem pré-visualização e auto-verificação. Experimentos extensivos realizados em benchmarks de seguimento de instruções demonstram melhorias notáveis de desempenho em várias escalas de modelos. Notavelmente, nosso modelo Light-IF-32B supera tanto modelos de código aberto maiores, como o DeepSeek-R1, quanto modelos de código fechado, como o Doubao-1.6.

English

While advancements in the reasoning abilities of LLMs have significantly enhanced their performance in solving mathematical problems, coding tasks, and general puzzles, their effectiveness in accurately adhering to instructions remains inconsistent, particularly with more complex directives. Our investigation identifies lazy reasoning during the thinking stage as the primary factor contributing to poor instruction adherence. To mitigate this issue, we propose a comprehensive framework designed to enable rigorous reasoning processes involving preview and self-checking, essential for satisfying strict instruction constraints. Specifically, we first generate instructions with complex constraints and apply a filtering process to obtain valid prompts, resulting in three distinct prompt datasets categorized as hard, easy, and pass. Then, we employ rejection sampling on the pass prompts to curate a small yet high-quality dataset, enabling a cold-start initialization of the model and facilitating its adaptation to effective reasoning patterns. Subsequently, we employ an entropy-preserving supervised fine-tuning (Entropy-SFT) strategy coupled with token-wise entropy-adaptive (TEA-RL) reinforcement learning guided by rule-based dense rewards. This approach encourages the model to transform its reasoning mechanism, ultimately fostering generalizable reasoning abilities that encompass preview and self-checking. Extensive experiments conducted on instruction-following benchmarks demonstrate remarkable performance improvements across various model scales. Notably, our Light-IF-32B model surpasses both larger open-source models such as DeepSeek-R1 and closed-source models like Doubao-1.6.