Incentivare il Ragionamento per un Avanzato Seguimento delle Istruzioni nei Modelli Linguistici di Grande Dimensione

Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models

June 2, 2025

Autori: Yulei Qin, Gang Li, Zongyi Li, Zihan Xu, Yuchen Shi, Zhekai Lin, Xiao Cui, Ke Li, Xing Sun

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) esistenti affrontano sfide nel seguire istruzioni complesse, specialmente quando sono presenti e organizzate in strutture parallele, concatenate e ramificate molteplici vincoli. Una soluzione intuitiva, nota come chain-of-thought (CoT), è attesa per migliorare universalmente le capacità degli LLM. Tuttavia, scopriamo che la CoT di base esercita un impatto negativo sulle prestazioni a causa del suo schema di ragionamento superficiale che si limita a parafrasare le istruzioni. Non riesce a scomporre le composizioni dei vincoli per identificarne le relazioni attraverso gerarchie di tipi e dimensioni. A tal fine, proponiamo un metodo sistematico per potenziare gli LLM nel gestire istruzioni complesse incentivando il ragionamento per il calcolo in fase di test. In primo luogo, partiamo dalla scomposizione delle istruzioni complesse secondo tassonomie esistenti e proponiamo un metodo riproducibile per l'acquisizione dei dati. In secondo luogo, sfruttiamo l'apprendimento per rinforzo (RL) con segnali di ricompensa centrati su regole verificabili per coltivare il ragionamento specifico per il seguire le istruzioni. Affrontiamo la natura superficiale e non essenziale del ragionamento sotto istruzioni complesse attraverso un contrasto campione per campione per un'applicazione superiore della CoT. Sfruttiamo anche la clonazione del comportamento degli esperti per facilitare un cambiamento stabile della distribuzione da LLM a pensiero rapido a ragionatori abili. Valutazioni estensive su sette benchmark completi confermano la validità del metodo proposto, dove un LLM da 1,5 miliardi di parametri ottiene guadagni dell'11,74% con prestazioni comparabili a un LLM da 8 miliardi di parametri. Codici e dati sono disponibili su https://github.com/yuleiqin/RAIF.

English

Existing large language models (LLMs) face challenges of following complex instructions, especially when multiple constraints are present and organized in paralleling, chaining, and branching structures. One intuitive solution, namely chain-of-thought (CoT), is expected to universally improve capabilities of LLMs. However, we find that the vanilla CoT exerts a negative impact on performance due to its superficial reasoning pattern of simply paraphrasing the instructions. It fails to peel back the compositions of constraints for identifying their relationship across hierarchies of types and dimensions. To this end, we propose a systematic method to boost LLMs in dealing with complex instructions via incentivizing reasoning for test-time compute scaling. First, we stem from the decomposition of complex instructions under existing taxonomies and propose a reproducible data acquisition method. Second, we exploit reinforcement learning (RL) with verifiable rule-centric reward signals to cultivate reasoning specifically for instruction following. We address the shallow, non-essential nature of reasoning under complex instructions via sample-wise contrast for superior CoT enforcement. We also exploit behavior cloning of experts to facilitate steady distribution shift from fast-thinking LLMs to skillful reasoners. Extensive evaluations on seven comprehensive benchmarks confirm the validity of the proposed method, where a 1.5B LLM achieves 11.74% gains with performance comparable to a 8B LLM. Codes and data are available at https://github.com/yuleiqin/RAIF.