Fehlende Prämissen verstärken Grübeln: Verlieren Reasoning-Modelle ihre Fähigkeit zum kritischen Denken?

Missing Premise exacerbates Overthinking: Are Reasoning Models losing Critical Thinking Skill?

April 9, 2025

Autoren: Chenrui Fan, Ming Li, Lichao Sun, Tianyi Zhou

cs.AI

Zusammenfassung

Wir stellen fest, dass die Antwortlänge von LLMs, die für logisches Denken trainiert wurden – unabhängig davon, ob durch Reinforcement Learning oder überwachtes Lernen –, bei schlecht gestellten Fragen mit fehlenden Prämissen (MiP) drastisch zunimmt, was zu redundanter und ineffektiver Denkweise führt. Dieses neu eingeführte Szenario verschärft das allgemeine Problem des Überdenkens in erheblichem Maße, was wir als MiP-Überdenken bezeichnen. Solche Fehler widersprechen dem „Test-Time-Scaling-Gesetz“, wurden jedoch in mehreren von uns erstellten Datensätzen mit MiP weit verbreitet beobachtet, was auf die Gefahren von billigem Überdenken und einen Mangel an kritischem Denken hinweist. Überraschenderweise zeigen LLMs, die nicht speziell für logisches Denken trainiert wurden, im MiP-Szenario eine deutlich bessere Leistung und liefern viel kürzere Antworten, die schlecht gestellte Anfragen schnell identifizieren. Dies deutet auf einen kritischen Fehler im aktuellen Trainingsansatz für logisch denkende LLMs hin, der effizientes Denken nicht ausreichend fördert und zu einem Missbrauch von Denkmustern führt. Um die Gründe für diese Fehler weiter zu untersuchen, führen wir detaillierte Analysen der Denklänge, der Überdenkmuster und der Position des kritischen Denkens bei verschiedenen Arten von LLMs durch. Darüber hinaus zeigt unsere erweiterte Ablationsstudie, dass das Überdenken durch die Destillation der Antworten von Denkmodellen ansteckend ist. Diese Ergebnisse verbessern das Verständnis des Überdenkens und bieten neue Einblicke in die Minderung des Problems.

English

We find that the response length of reasoning LLMs, whether trained by reinforcement learning or supervised learning, drastically increases for ill-posed questions with missing premises (MiP), ending up with redundant and ineffective thinking. This newly introduced scenario exacerbates the general overthinking issue to a large extent, which we name as the MiP-Overthinking. Such failures are against the ``test-time scaling law'' but have been widely observed on multiple datasets we curated with MiP, indicating the harm of cheap overthinking and a lack of critical thinking. Surprisingly, LLMs not specifically trained for reasoning exhibit much better performance on the MiP scenario, producing much shorter responses that quickly identify ill-posed queries. This implies a critical flaw of the current training recipe for reasoning LLMs, which does not encourage efficient thinking adequately, leading to the abuse of thinking patterns. To further investigate the reasons behind such failures, we conduct fine-grained analyses of the reasoning length, overthinking patterns, and location of critical thinking on different types of LLMs. Moreover, our extended ablation study reveals that the overthinking is contagious through the distillation of reasoning models' responses. These results improve the understanding of overthinking and shed novel insights into mitigating the problem.