Rekursiver Denk- und Antwortprozess für LLMs und VLMs
Recursive Think-Answer Process for LLMs and VLMs
March 2, 2026
Autoren: Byung-Kwan Lee, Youngchae Chee, Yong Man Ro
cs.AI
Zusammenfassung
Denk-Antwort-Systeme wie DeepSeek-R1 haben durch die Nutzung interpretierbarer interner Schlussfolgerungen bemerkenswerte Fortschritte erzielt. Trotz des häufigen Auftretens selbstreflexiver Signale wie "Oops!" bleiben sie jedoch bei Einzeldurchlauf-Inferenzen anfällig für Ausgabefehler. Um diese Einschränkung zu adressieren, schlagen wir einen effizienten Rekursiven Denk-Antwort-Prozess (R-TAP) vor, der Modellen iterative Denkzyklen ermöglicht und präzisere Antworten generiert, die über konventionelle Einzeldurchlauf-Ansätze hinausgehen. Zentral für diesen Ansatz ist ein Konfidenzgenerator, der die Sicherheit der Modellantworten bewertet und nachfolgende Verbesserungen steuert. Durch die Integration zweier komplementärer Belohnungen - Rekursiver Konfidenzsteigerungs-Belohnung und Endantwort-Konfidenz-Belohnung - zeigen wir, dass R-TAP-optimierte Modelle konventionelle Einzeldurchlauf-Methoden sowohl bei großen Sprachmodellen (LLMs) als auch bei Vision-Sprach-Modellen (VLMs) konsistent übertreffen. Darüber hinaus stellen wir durch die Analyse der Häufigkeit von "Oops"-ähnlichen Ausdrücken in Modellantworten fest, dass R-TAP-modifizierte Modelle signifikant weniger selbstreflexive Muster aufweisen, was zu stabilerer und schnellerer Inferenzzeit-Argumentation führt. Wir hoffen, dass R-TAP den Weg für die Entwicklung effizienter und ausgefeilter Methoden ebnet, um die Denkprozesse zukünftiger KI-Systeme zu verfeinern.
English
Think-Answer reasoners such as DeepSeek-R1 have made notable progress by leveraging interpretable internal reasoning. However, despite the frequent presence of self-reflective cues like "Oops!", they remain vulnerable to output errors during single-pass inference. To address this limitation, we propose an efficient Recursive Think-Answer Process (R-TAP) that enables models to engage in iterative reasoning cycles and generate more accurate answers, going beyond conventional single-pass approaches. Central to this approach is a confidence generator that evaluates the certainty of model responses and guides subsequent improvements. By incorporating two complementary rewards-Recursively Confidence Increase Reward and Final Answer Confidence Reward-we show that R-TAP-enhanced models consistently outperform conventional single-pass methods for both large language models (LLMs) and vision-language models (VLMs). Moreover, by analyzing the frequency of "Oops"-like expressions in model responses, we find that R-TAP-applied models exhibit significantly fewer self-reflective patterns, resulting in more stable and faster inference-time reasoning. We hope R-TAP pave the way evolving into efficient and elaborated methods to refine the reasoning processes of future AI.