Wacht, we hoeven niet te "wachten"! Het verwijderen van denktokens verbetert de redeneerefficiëntie.
Wait, We Don't Need to "Wait"! Removing Thinking Tokens Improves Reasoning Efficiency
June 10, 2025
Auteurs: Chenlong Wang, Yuanning Feng, Dongping Chen, Zhaoyang Chu, Ranjay Krishna, Tianyi Zhou
cs.AI
Samenvatting
Recente vooruitgang in grote redeneermodellen heeft complexe, stapsgewijze redenering mogelijk gemaakt, maar introduceert vaak aanzienlijk overdenken, wat resulteert in uitgebreide en redundante uitvoer die de efficiëntie belemmert. In deze studie onderzoeken we of expliciete zelfreflectie, aangegeven door tokens zoals "Wacht" en "Hmm", noodzakelijk is voor geavanceerd redeneren. We stellen NoWait voor, een eenvoudige maar effectieve aanpak die expliciete zelfreflectie uitschakelt door deze tokens tijdens de inferentie te onderdrukken. Uitgebreide experimenten op tien benchmarks voor tekstuele, visuele en videoredeneertaken tonen aan dat NoWait de keten-van-gedachten-trajectlengte met tot wel 27%-51% vermindert in vijf R1-stijl modelreeksen, zonder de bruikbaarheid van het model aan te tasten. NoWait biedt zo een plug-and-play oplossing voor efficiënte en bruikbaarheid-behoudende multimodale redenering.
English
Recent advances in large reasoning models have enabled complex, step-by-step
reasoning but often introduce significant overthinking, resulting in verbose
and redundant outputs that hinder efficiency. In this study, we examine whether
explicit self-reflection, signaled by tokens such as "Wait" and "Hmm", is
necessary for advanced reasoning. We propose NoWait, a simple yet effective
approach that disables explicit self-reflection by suppressing these tokens
during inference. Extensive experiments on ten benchmarks across textual,
visual, and video reasoning tasks show that NoWait reduces chain-of-thought
trajectory length by up to 27%-51% in five R1-style model series, without
compromising model utility. NoWait thus offers a plug-and-play solution for
efficient and utility-preserving multimodal reasoning.