Ne réfléchissez pas trop. Privilégier des chaînes de raisonnement plus courtes pour améliorer le raisonnement des LLM.

Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning

May 23, 2025

Auteurs: Michael Hassid, Gabriel Synnaeve, Yossi Adi, Roy Schwartz

cs.AI

Résumé

Les grands modèles de langage (LLMs) pour le raisonnement reposent fortement sur l'augmentation des ressources de calcul au moment de l'inférence pour accomplir des tâches de raisonnement complexes en générant des chaînes de "réflexion" étendues. Bien que cette approche démontre des résultats impressionnants, elle entraîne des coûts de calcul et des temps d'inférence significatifs. Dans ce travail, nous remettons en question l'hypothèse selon laquelle des chaînes de réflexion plus longues améliorent les capacités de raisonnement. Nous montrons d'abord que des chaînes de raisonnement plus courtes pour des questions individuelles sont nettement plus susceptibles de produire des réponses correctes - jusqu'à 34,5 % plus précises que la chaîne la plus longue échantillonnée pour la même question. Sur la base de ces résultats, nous proposons short-m@k, une nouvelle méthode d'inférence pour les LLMs de raisonnement. Notre méthode exécute k générations indépendantes en parallèle et interrompt le calcul dès que les m premiers processus de réflexion sont terminés. La réponse finale est choisie par vote majoritaire parmi ces m chaînes. La version basique short-1@k démontre des performances similaires, voire supérieures, au vote majoritaire standard dans des configurations à faible calcul - en utilisant jusqu'à 40 % de tokens de réflexion en moins. short-3@k, bien que légèrement moins efficace que short-1@k, surpasse systématiquement le vote majoritaire pour tous les budgets de calcul, tout en étant nettement plus rapide (jusqu'à 33 % de réduction du temps d'exécution). Inspirés par nos résultats, nous affinons un LLM en utilisant des chaînes de raisonnement courtes, longues et sélectionnées aléatoirement. Nous observons ensuite que l'entraînement sur les chaînes plus courtes conduit à de meilleures performances. Nos résultats suggèrent de repenser les méthodes actuelles de calcul au moment de l'inférence pour les LLMs de raisonnement, en soulignant qu'une "réflexion" plus longue ne se traduit pas nécessairement par une amélioration des performances et peut, contre-intuitivement, conduire à des résultats dégradés.

English

Reasoning large language models (LLMs) heavily rely on scaling test-time compute to perform complex reasoning tasks by generating extensive "thinking" chains. While demonstrating impressive results, this approach incurs significant computational costs and inference time. In this work, we challenge the assumption that long thinking chains results in better reasoning capabilities. We first demonstrate that shorter reasoning chains within individual questions are significantly more likely to yield correct answers - up to 34.5% more accurate than the longest chain sampled for the same question. Based on these results, we suggest short-m@k, a novel reasoning LLM inference method. Our method executes k independent generations in parallel and halts computation once the first m thinking processes are done. The final answer is chosen using majority voting among these m chains. Basic short-1@k demonstrates similar or even superior performance over standard majority voting in low-compute settings - using up to 40% fewer thinking tokens. short-3@k, while slightly less efficient than short-1@k, consistently surpasses majority voting across all compute budgets, while still being substantially faster (up to 33% wall time reduction). Inspired by our results, we finetune an LLM using short, long, and randomly selected reasoning chains. We then observe that training on the shorter ones leads to better performance. Our findings suggest rethinking current methods of test-time compute in reasoning LLMs, emphasizing that longer "thinking" does not necessarily translate to improved performance and can, counter-intuitively, lead to degraded results.