Denken Sie nicht zu viel nach. Bevorzugen Sie kürzere Denkketten für verbessertes LLM-Schließen.

Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning

May 23, 2025

Autoren: Michael Hassid, Gabriel Synnaeve, Yossi Adi, Roy Schwartz

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), die auf logisches Schlussfolgern spezialisiert sind, verlassen sich stark auf die Skalierung der Rechenleistung zur Laufzeit, um komplexe Denkaufgaben durch die Erzeugung umfangreicher „Denkketten“ zu bewältigen. Obwohl dieser Ansatz beeindruckende Ergebnisse liefert, verursacht er erhebliche Rechenkosten und längere Inferenzzeiten. In dieser Arbeit stellen wir die Annahme infrage, dass längere Denkketten zu besseren Fähigkeiten im logischen Schlussfolgern führen. Wir zeigen zunächst, dass kürzere Denkketten innerhalb einzelner Fragestellungen signifikant häufiger zu korrekten Antworten führen – bis zu 34,5 % genauer als die längste für dieselbe Frage generierte Kette. Basierend auf diesen Ergebnissen schlagen wir short-m@k vor, eine neuartige Inferenzmethode für schlussfolgernde LLMs. Unser Ansatz führt k unabhängige Generierungen parallel aus und beendet die Berechnung, sobald die ersten m Denkprozesse abgeschlossen sind. Die endgültige Antwort wird durch Mehrheitsentscheidung unter diesen m Ketten ausgewählt. Die einfache Variante short-1@k zeigt eine ähnliche oder sogar überlegene Leistung gegenüber der Standard-Mehrheitsentscheidung in Umgebungen mit geringer Rechenleistung – bei bis zu 40 % weniger verwendeten Denk-Tokens. short-3@k, obwohl etwas weniger effizient als short-1@k, übertrifft die Mehrheitsentscheidung konsistent über alle Rechenbudgets hinweg und ist dennoch deutlich schneller (bis zu 33 % geringere Wandzeit). Inspiriert durch unsere Ergebnisse, finetunen wir ein LLM mit kurzen, langen und zufällig ausgewählten Denkketten. Dabei stellen wir fest, dass das Training mit kürzeren Ketten zu einer besseren Leistung führt. Unsere Ergebnisse legen nahe, die aktuellen Methoden der Rechenleistungsnutzung zur Laufzeit in schlussfolgernden LLMs zu überdenken, und betonen, dass längeres „Denken“ nicht zwangsläufig zu einer verbesserten Leistung führt und kontraintuitiv sogar zu schlechteren Ergebnissen führen kann.

English

Reasoning large language models (LLMs) heavily rely on scaling test-time compute to perform complex reasoning tasks by generating extensive "thinking" chains. While demonstrating impressive results, this approach incurs significant computational costs and inference time. In this work, we challenge the assumption that long thinking chains results in better reasoning capabilities. We first demonstrate that shorter reasoning chains within individual questions are significantly more likely to yield correct answers - up to 34.5% more accurate than the longest chain sampled for the same question. Based on these results, we suggest short-m@k, a novel reasoning LLM inference method. Our method executes k independent generations in parallel and halts computation once the first m thinking processes are done. The final answer is chosen using majority voting among these m chains. Basic short-1@k demonstrates similar or even superior performance over standard majority voting in low-compute settings - using up to 40% fewer thinking tokens. short-3@k, while slightly less efficient than short-1@k, consistently surpasses majority voting across all compute budgets, while still being substantially faster (up to 33% wall time reduction). Inspired by our results, we finetune an LLM using short, long, and randomly selected reasoning chains. We then observe that training on the shorter ones leads to better performance. Our findings suggest rethinking current methods of test-time compute in reasoning LLMs, emphasizing that longer "thinking" does not necessarily translate to improved performance and can, counter-intuitively, lead to degraded results.