Vernunftmodelle können effektiv sein, ohne zu denken.

Reasoning Models Can Be Effective Without Thinking

April 14, 2025

Autoren: Wenjie Ma, Jingxuan He, Charlie Snell, Tyler Griggs, Sewon Min, Matei Zaharia

cs.AI

Zusammenfassung

Aktuelle LLMs haben ihre Fähigkeiten zur logischen Schlussfolgerung erheblich verbessert, hauptsächlich durch die Einbeziehung eines expliziten, langwierigen Denkprozesses als Teil der Generierung. In diesem Artikel stellen wir die Frage, ob dieser explizite Denkprozess notwendig ist. Mit dem state-of-the-art-Modell DeepSeek-R1-Distill-Qwen stellen wir fest, dass das Umgehen des Denkprozesses durch einfache Prompting, bezeichnet als NoThinking, überraschend effektiv sein kann. Bei Kontrolle der Anzahl der Tokens übertrifft NoThinking Denken über eine vielfältige Auswahl von sieben anspruchsvollen Reasoning-Datensätzen – einschließlich mathematischer Problemlösung, formalem Theorembeweis und Programmierung – insbesondere in ressourcenbeschränkten Szenarien, z.B. 51,3 vs. 28,9 auf ACM 23 mit 700 Tokens. Bemerkenswerterweise wird die Leistung von NoThinking mit zunehmendem k bei pass@k wettbewerbsfähiger. Aufbauend auf dieser Beobachtung zeigen wir, dass ein paralleler Skalierungsansatz, der NoThinking verwendet, um N Ausgaben unabhängig zu generieren und sie zu aggregieren, sehr effektiv ist. Für die Aggregation verwenden wir taskspezifische Verifizierer, wenn verfügbar, oder wenden einfache Best-of-N-Strategien wie konfidenzbasierte Auswahl an. Unsere Methode übertrifft eine Reihe von Baselines mit ähnlicher Latenz bei Verwendung von Denken und ist vergleichbar mit Denken bei deutlich längerer Latenz (bis zu 9x). Zusammenfassend regt unsere Forschung eine Neubewertung der Notwendigkeit langwieriger Denkprozesse an und etabliert gleichzeitig einen wettbewerbsfähigen Referenzpunkt, um starke Reasoning-Leistungen in ressourcenbeschränkten Szenarien oder bei niedriger Latenz durch parallele Skalierung zu erreichen.

English

Recent LLMs have significantly improved reasoning capabilities, primarily by including an explicit, lengthy Thinking process as part of generation. In this paper, we question whether this explicit thinking is necessary. Using the state-of-the-art DeepSeek-R1-Distill-Qwen, we find that bypassing the thinking process via simple prompting, denoted as NoThinking, can be surprisingly effective. When controlling for the number of tokens, NoThinking outperforms Thinking across a diverse set of seven challenging reasoning datasets--including mathematical problem solving, formal theorem proving, and coding--especially in low-budget settings, e.g., 51.3 vs. 28.9 on ACM 23 with 700 tokens. Notably, the performance of NoThinking becomes more competitive with pass@k as k increases. Building on this observation, we demonstrate that a parallel scaling approach that uses NoThinking to generate N outputs independently and aggregates them is highly effective. For aggregation, we use task-specific verifiers when available, or we apply simple best-of-N strategies such as confidence-based selection. Our method outperforms a range of baselines with similar latency using Thinking, and is comparable to Thinking with significantly longer latency (up to 9x). Together, our research encourages a reconsideration of the necessity of lengthy thinking processes, while also establishing a competitive reference for achieving strong reasoning performance in low-budget settings or at low latency using parallel scaling.