Incitation au raisonnement pour un suivi avancé des instructions par les grands modèles de langage

Résumé

Les grands modèles de langage (LLM) existants rencontrent des difficultés à suivre des instructions complexes, en particulier lorsque plusieurs contraintes sont présentes et organisées en structures parallèles, enchaînées et ramifiées. Une solution intuitive, à savoir le raisonnement en chaîne (Chain-of-Thought, CoT), est censée améliorer universellement les capacités des LLM. Cependant, nous constatons que le CoT standard a un impact négatif sur les performances en raison de son schéma de raisonnement superficiel qui se contente de paraphraser les instructions. Il ne parvient pas à décomposer les contraintes pour identifier leurs relations à travers les hiérarchies de types et de dimensions. Pour résoudre ce problème, nous proposons une méthode systématique pour améliorer les LLM dans la gestion des instructions complexes en incitant au raisonnement pour une mise à l'échelle des calculs au moment du test. Premièrement, nous partons de la décomposition des instructions complexes selon des taxonomies existantes et proposons une méthode reproductible d'acquisition de données. Deuxièmement, nous exploitons l'apprentissage par renforcement (RL) avec des signaux de récompense centrés sur des règles vérifiables pour cultiver un raisonnement spécifiquement adapté au suivi des instructions. Nous abordons la nature superficielle et non essentielle du raisonnement sous des instructions complexes via un contraste par échantillon pour une application supérieure du CoT. Nous exploitons également le clonage comportemental d'experts pour faciliter un changement de distribution stable des LLM à pensée rapide vers des raisonneurs compétents. Des évaluations approfondies sur sept benchmarks complets confirment la validité de la méthode proposée, où un LLM de 1,5 milliard de paramètres obtient des gains de 11,74 % avec des performances comparables à un LLM de 8 milliards. Les codes et les données sont disponibles à l'adresse https://github.com/yuleiqin/RAIF.

English

Existing large language models (LLMs) face challenges of following complex instructions, especially when multiple constraints are present and organized in paralleling, chaining, and branching structures. One intuitive solution, namely chain-of-thought (CoT), is expected to universally improve capabilities of LLMs. However, we find that the vanilla CoT exerts a negative impact on performance due to its superficial reasoning pattern of simply paraphrasing the instructions. It fails to peel back the compositions of constraints for identifying their relationship across hierarchies of types and dimensions. To this end, we propose a systematic method to boost LLMs in dealing with complex instructions via incentivizing reasoning for test-time compute scaling. First, we stem from the decomposition of complex instructions under existing taxonomies and propose a reproducible data acquisition method. Second, we exploit reinforcement learning (RL) with verifiable rule-centric reward signals to cultivate reasoning specifically for instruction following. We address the shallow, non-essential nature of reasoning under complex instructions via sample-wise contrast for superior CoT enforcement. We also exploit behavior cloning of experts to facilitate steady distribution shift from fast-thinking LLMs to skillful reasoners. Extensive evaluations on seven comprehensive benchmarks confirm the validity of the proposed method, where a 1.5B LLM achieves 11.74% gains with performance comparable to a 8B LLM. Codes and data are available at https://github.com/yuleiqin/RAIF.

Incitation au raisonnement pour un suivi avancé des instructions par les grands modèles de langage

Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models

Résumé

Support