Selbstreflektive Generierung zur Testzeit

papers.abstract

Große Sprachmodelle (LLMs) lösen zunehmend komplexe Denkaufgaben über lange Gedankenketten, doch ihr vorwärtsgerichteter autoregressiver Generierungsprozess ist fragil; frühe Token-Fehler können sich kaskadieren, was einen klaren Bedarf an Selbstreflexionsmechanismen schafft. Bisherige Ansätze zur Selbstreflexion führen jedoch entweder Revisionen über vollständige Entwürfe durch oder erlernen Selbstkorrektur durch aufwendiges Training, was beides grundsätzlich reaktiv und ineffizient ist. Um dies zu adressieren, schlagen wir Self-Reflective Generation at Test Time (SRGen) vor, ein leichtgewichtiges Framework zur Testzeit, das vor der Generierung an unsicheren Punkten reflektiert. Während der Token-Generierung nutzt SRGen dynamische Entropie-Schwellenwerte, um Token mit hoher Unsicherheit zu identifizieren. Für jeden identifizierten Token trainiert es einen spezifischen Korrekturvektor, der den bereits generierten Kontext vollständig ausnutzt, um eine selbstreflektierte Generierung zur Korrektur der Token-Wahrscheinlichkeitsverteilung durchzuführen. Durch die retrospektive Analyse der partiellen Ausgabe ermöglicht diese Selbstreflexion vertrauenswürdigere Entscheidungen und reduziert dadurch die Wahrscheinlichkeit von Fehlern an hoch unsicheren Punkten signifikant. Evaluierungen auf anspruchsvollen mathematischen Denkbenchmarks und einer vielfältigen Auswahl von LLMs zeigen, dass SRGen die Modelllogik konsistent stärken kann: Verbesserungen in der Einzelpass-Qualität führen auch zu einer stärkeren Selbstkonsistenz bei der Abstimmung. Insbesondere auf AIME2024 mit DeepSeek-R1-Distill-Qwen-7B erzielt SRGen absolute Verbesserungen von +12,0 % bei Pass@1 und +13,3 % bei Cons@5. Darüber hinaus positionieren unsere Ergebnisse SRGen als eine Plug-and-Play-Methode, die Reflexion in den Generierungsprozess für zuverlässige LLM-Logik integriert und konsistente Gewinne mit begrenztem Overhead sowie breiter Kompatibilität mit anderen Trainingszeit- (z. B. RLHF) und Testzeit-Techniken (z. B. SLOT) erreicht.

English

Large language models (LLMs) increasingly solve complex reasoning tasks via long chain-of-thought, but their forward-only autoregressive generation process is fragile; early token errors can cascade, which creates a clear need for self-reflection mechanisms. However, existing self-reflection either performs revisions over full drafts or learns self-correction via expensive training, both fundamentally reactive and inefficient. To address this, we propose Self-Reflective Generation at Test Time (SRGen), a lightweight test-time framework that reflects before generating at uncertain points. During token generation, SRGen utilizes dynamic entropy thresholding to identify high-uncertainty tokens. For each identified token, it trains a specific corrective vector, which fully exploits the already generated context for a self-reflective generation to correct the token probability distribution. By retrospectively analyzing the partial output, this self-reflection enables more trustworthy decisions, thereby significantly reducing the probability of errors at highly uncertain points. Evaluated on challenging mathematical reasoning benchmarks and a diverse set of LLMs, SRGen can consistently strengthen model reasoning: improvements in single-pass quality also translate into stronger self-consistency voting. Especially, on AIME2024 with DeepSeek-R1-Distill-Qwen-7B, SRGen yields absolute improvements of +12.0% on Pass@1 and +13.3% on Cons@5. Moreover, our findings position SRGen as a plug-and-play method that integrates reflection into the generation process for reliable LLM reasoning, achieving consistent gains with bounded overhead and broad composability with other training-time (e.g., RLHF) and test-time (e.g., SLOT) techniques.