Cessez de Trop Réfléchir : Une Étude sur le Raisonnement Efficace pour les Modèles de Langage à Grande Échelle

Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models

March 20, 2025

Auteurs: Yang Sui, Yu-Neng Chuang, Guanchu Wang, Jiamu Zhang, Tianyi Zhang, Jiayi Yuan, Hongyi Liu, Andrew Wen, Shaochen, Zhong, Hanjie Chen, Xia Hu

cs.AI

Résumé

Les modèles de langage à grande échelle (LLMs) ont démontré des capacités remarquables dans des tâches complexes. Les avancées récentes dans les modèles de raisonnement à grande échelle (LRMs), tels qu'OpenAI o1 et DeepSeek-R1, ont encore amélioré les performances dans les domaines de raisonnement de type Système-2, comme les mathématiques et la programmation, en exploitant le fine-tuning supervisé (SFT) et l'apprentissage par renforcement (RL) pour améliorer le raisonnement en chaîne de pensée (CoT). Cependant, bien que des séquences de raisonnement CoT plus longues améliorent les performances, elles introduisent également une surcharge computationnelle significative en raison de sorties verbeuses et redondantes, un phénomène connu sous le nom de "surréflexion". Dans cet article, nous proposons la première étude structurée visant à examiner et explorer systématiquement les progrès actuels vers un raisonnement efficace dans les LLMs. En nous appuyant sur le mécanisme inhérent des LLMs, nous catégorisons les travaux existants en plusieurs directions clés : (1) le raisonnement efficace basé sur le modèle, qui consiste à optimiser des modèles de raisonnement complets en des modèles plus concis ou à entraîner directement des modèles de raisonnement efficaces ; (2) le raisonnement efficace basé sur la sortie de raisonnement, qui vise à réduire dynamiquement les étapes et la longueur du raisonnement lors de l'inférence ; (3) le raisonnement efficace basé sur les invites d'entrée, qui cherche à améliorer l'efficacité du raisonnement en fonction des propriétés des invites d'entrée, telles que la difficulté ou le contrôle de la longueur. De plus, nous introduisons l'utilisation de données efficaces pour l'entraînement des modèles de raisonnement, explorons les capacités de raisonnement des petits modèles de langage, et discutons des méthodes d'évaluation et des benchmarks.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities in complex tasks. Recent advancements in Large Reasoning Models (LRMs), such as OpenAI o1 and DeepSeek-R1, have further improved performance in System-2 reasoning domains like mathematics and programming by harnessing supervised fine-tuning (SFT) and reinforcement learning (RL) techniques to enhance the Chain-of-Thought (CoT) reasoning. However, while longer CoT reasoning sequences improve performance, they also introduce significant computational overhead due to verbose and redundant outputs, known as the "overthinking phenomenon". In this paper, we provide the first structured survey to systematically investigate and explore the current progress toward achieving efficient reasoning in LLMs. Overall, relying on the inherent mechanism of LLMs, we categorize existing works into several key directions: (1) model-based efficient reasoning, which considers optimizing full-length reasoning models into more concise reasoning models or directly training efficient reasoning models; (2) reasoning output-based efficient reasoning, which aims to dynamically reduce reasoning steps and length during inference; (3) input prompts-based efficient reasoning, which seeks to enhance reasoning efficiency based on input prompt properties such as difficulty or length control. Additionally, we introduce the use of efficient data for training reasoning models, explore the reasoning capabilities of small language models, and discuss evaluation methods and benchmarking.