Entschlüsselung des Kritikmechanismus in großen Reasoning-Modellen

Zusammenfassung

Large Reasoning Models (LRMs) zeigen Mechanismen des Zurückverfolgens und der Selbstverifikation, die es ihnen ermöglichen, Zwischenschritte zu überarbeiten und korrekte Lösungen zu erreichen, was zu einer starken Leistung bei komplexen logischen Benchmarks führt. Wir stellen die Hypothese auf, dass solche Verhaltensweisen nur dann vorteilhaft sind, wenn das Modell über eine ausreichend starke „Kritikfähigkeit“ verfügt, um eigene Fehler zu erkennen. Diese Arbeit untersucht systematisch, wie aktuelle LRMs sich von Fehlern erholen, indem wir arithmetische Fehler in ihre Zwischenschritte des Reasoning einfügen. Bemerkenswerterweise entdecken wir ein eigentümliches, aber wichtiges Phänomen: Obwohl sich der Fehler durch die gesamte Gedankenkette (Chain-of-Thought, CoT) ausbreitet, ohne dass eine verbalisierte Korrektur erfolgt, erreicht das Modell nach Abschluss des Denkprozesses dennoch die korrekte endgültige Antwort. Diese Erholung deutet auf die Existenz eines internen Mechanismus hin, der dem Modell hilft, Fehler zu erkennen und Selbstkorrektur auszulösen – den wir als verborgene Kritikfähigkeit bezeichnen. Aufbauend auf einer Merkmalsraumanalyse identifizieren wir einen hochgradig interpretierbaren Kritikvektor, der dieses Verhalten repräsentiert. Umfangreiche Experimente über mehrere Modellskalen und -familien hinweg zeigen, dass die Lenkung latenter Repräsentationen mit diesem Vektor die Fehlererkennungsfähigkeit des Modells verbessert und die Leistung testzeitlicher Skalierung ohne zusätzliche Trainingskosten steigert. Unsere Ergebnisse liefern ein wertvolles Verständnis des Kritikverhaltens von LRMs und deuten auf eine vielversprechende Richtung zur Kontrolle und Verbesserung ihres Selbstverifikationsmechanismus hin. Unser Code ist verfügbar unter: https://github.com/mail-research/lrm-critique-vectors.

English

Large Reasoning Models (LRMs) exhibit backtracking and self-verification mechanisms that enable them to revise intermediate steps and reach correct solutions, yielding strong performance on complex logical benchmarks. We hypothesize that such behaviors are beneficial only when the model has sufficiently strong ``critique'' ability to detect its own mistakes. This work systematically investigates how current LRMs recover from errors by inserting arithmetic mistakes in their intermediate reasoning steps. Notably, we discover a peculiar yet important phenomenon: despite the error propagating throughout the entire chain-of-thought (CoT) without any verbalized correction, the model still reaches the correct final answer after the thinking process finishes. This recovery implies the existence of an internal mechanism helping the model to detect errors and trigger self-correction, which we refer to as the hidden critique ability. Building on feature space analysis, we identify a highly interpretable critique vector representing this behavior. Extensive experiments across multiple model scales and families demonstrate that steering latent representations with this vector improves the model's error detection capability and enhances the performance of test-time scaling at no extra training cost. Our findings provide a valuable understanding of LRMs' critique behavior, suggesting a promising direction to control and improve their self-verification mechanism. Our code is available at: https://github.com/mail-research/lrm-critique-vectors.