Modèles de raisonnement efficaces : une étude approfondie

Efficient Reasoning Models: A Survey

April 15, 2025

Auteurs: Sicheng Feng, Gongfan Fang, Xinyin Ma, Xinchao Wang

cs.AI

Résumé

Les modèles de raisonnement ont démontré des progrès remarquables dans la résolution de tâches complexes et fortement logiques en générant des chaînes de pensée (Chain-of-Thoughts, CoTs) étendues avant d'arriver à une réponse finale. Cependant, l'émergence de ce paradigme de "pensée lente", avec de nombreux tokens générés en séquence, introduit inévitablement une surcharge computationnelle importante. Cela met en lumière un besoin urgent d'accélération efficace. Cette étude vise à fournir un aperçu complet des avancées récentes en matière de raisonnement efficace. Elle catégorise les travaux existants selon trois axes principaux : (1) plus court - compresser les CoTs longues en chaînes de raisonnement concises mais efficaces ; (2) plus petit - développer des modèles de langage compacts dotés de solides capacités de raisonnement grâce à des techniques telles que la distillation de connaissances, d'autres techniques de compression de modèles et l'apprentissage par renforcement ; et (3) plus rapide - concevoir des stratégies de décodage efficaces pour accélérer l'inférence. Une sélection de documents discutés dans cette étude est disponible dans notre dépôt GitHub.

English

Reasoning models have demonstrated remarkable progress in solving complex and logic-intensive tasks by generating extended Chain-of-Thoughts (CoTs) prior to arriving at a final answer. Yet, the emergence of this "slow-thinking" paradigm, with numerous tokens generated in sequence, inevitably introduces substantial computational overhead. To this end, it highlights an urgent need for effective acceleration. This survey aims to provide a comprehensive overview of recent advances in efficient reasoning. It categorizes existing works into three key directions: (1) shorter - compressing lengthy CoTs into concise yet effective reasoning chains; (2) smaller - developing compact language models with strong reasoning capabilities through techniques such as knowledge distillation, other model compression techniques, and reinforcement learning; and (3) faster - designing efficient decoding strategies to accelerate inference. A curated collection of papers discussed in this survey is available in our GitHub repository.