Redeneermodellen kunnen effectief zijn zonder te denken.

Reasoning Models Can Be Effective Without Thinking

April 14, 2025

Auteurs: Wenjie Ma, Jingxuan He, Charlie Snell, Tyler Griggs, Sewon Min, Matei Zaharia

cs.AI

Samenvatting

Recente LLM's hebben de redeneervaardigheden aanzienlijk verbeterd, voornamelijk door een expliciet, uitgebreid Denkproces op te nemen als onderdeel van de generatie. In dit artikel vragen we ons af of dit expliciete denken wel noodzakelijk is. Met behulp van de state-of-the-art DeepSeek-R1-Distill-Qwen ontdekken we dat het omzeilen van het denkproces via eenvoudige prompting, aangeduid als NoThinking, verrassend effectief kan zijn. Bij het controleren van het aantal tokens presteert NoThinking beter dan Thinking over een diverse set van zeven uitdagende redeneerdatasets—waaronder wiskundige probleemoplossing, formeel bewijzen van stellingen en coderen—met name in low-budget situaties, bijvoorbeeld 51,3 vs. 28,9 op ACM 23 met 700 tokens. Opmerkelijk is dat de prestaties van NoThinking competitiever worden met pass@k naarmate k toeneemt. Op basis van deze observatie tonen we aan dat een parallelle schaalbenadering die NoThinking gebruikt om N outputs onafhankelijk te genereren en deze aggregeert, zeer effectief is. Voor aggregatie gebruiken we taakspecifieke verifiers wanneer deze beschikbaar zijn, of passen we eenvoudige best-of-N strategieën toe, zoals selectie op basis van vertrouwen. Onze methode overtreft een reeks baselines met vergelijkbare latentie bij gebruik van Thinking, en is vergelijkbaar met Thinking met aanzienlijk langere latentie (tot 9x). Samen moedigt ons onderzoek een heroverweging aan van de noodzaak van uitgebreide denkprocessen, terwijl het ook een competitief referentiepunt biedt voor het bereiken van sterke redeneerprestaties in low-budget situaties of bij lage latentie met behulp van parallelle schaling.

English

Recent LLMs have significantly improved reasoning capabilities, primarily by including an explicit, lengthy Thinking process as part of generation. In this paper, we question whether this explicit thinking is necessary. Using the state-of-the-art DeepSeek-R1-Distill-Qwen, we find that bypassing the thinking process via simple prompting, denoted as NoThinking, can be surprisingly effective. When controlling for the number of tokens, NoThinking outperforms Thinking across a diverse set of seven challenging reasoning datasets--including mathematical problem solving, formal theorem proving, and coding--especially in low-budget settings, e.g., 51.3 vs. 28.9 on ACM 23 with 700 tokens. Notably, the performance of NoThinking becomes more competitive with pass@k as k increases. Building on this observation, we demonstrate that a parallel scaling approach that uses NoThinking to generate N outputs independently and aggregates them is highly effective. For aggregation, we use task-specific verifiers when available, or we apply simple best-of-N strategies such as confidence-based selection. Our method outperforms a range of baselines with similar latency using Thinking, and is comparable to Thinking with significantly longer latency (up to 9x). Together, our research encourages a reconsideration of the necessity of lengthy thinking processes, while also establishing a competitive reference for achieving strong reasoning performance in low-budget settings or at low latency using parallel scaling.