Processo Ricorsivo di Pensiero e Risposta per LLM e VLM
Recursive Think-Answer Process for LLMs and VLMs
March 2, 2026
Autori: Byung-Kwan Lee, Youngchae Chee, Yong Man Ro
cs.AI
Abstract
I ragionatori Think-Answer come DeepSeek-R1 hanno compiuto progressi significativi sfruttando un ragionamento interno interpretabile. Tuttavia, nonostante la frequente presenza di segnali autoriflessivi come "Ops!", rimangono vulnerabili a errori di output durante l'inferenza a passaggio singolo. Per affrontare questa limitazione, proponiamo un processo Ricorsivo Think-Answer (R-TAP) efficiente che consente ai modelli di impegnarsi in cicli di ragionamento iterativi e generare risposte più accurate, andando oltre i convenzionali approcci a passaggio singolo. Elemento centrale di questo approccio è un generatore di confidenza che valuta la certezza delle risposte del modello e guida i successivi miglioramenti. Incorporando due ricompense complementari - la Ricompensa per l'Aumento Ricorsivo della Confidenza e la Ricompensa per la Confidenza della Risposta Finale - dimostriamo che i modelli potenziati da R-TAP superano costantemente i metodi convenzionali a passaggio singolo, sia per i grandi modelli linguistici (LLM) che per i modelli visione-linguaggio (VLM). Inoltre, analizzando la frequenza di espressioni simili a "Ops" nelle risposte del modello, scopriamo che i modelli con R-TAP applicato mostrano significativamente meno pattern autoriflessivi, risultando in un ragionamento in fase di inferenza più stabile e veloce. Speriamo che R-TAP apra la strada all'evoluzione di metodi efficienti ed elaborati per affinare i processi di ragionamento delle future IA.
English
Think-Answer reasoners such as DeepSeek-R1 have made notable progress by leveraging interpretable internal reasoning. However, despite the frequent presence of self-reflective cues like "Oops!", they remain vulnerable to output errors during single-pass inference. To address this limitation, we propose an efficient Recursive Think-Answer Process (R-TAP) that enables models to engage in iterative reasoning cycles and generate more accurate answers, going beyond conventional single-pass approaches. Central to this approach is a confidence generator that evaluates the certainty of model responses and guides subsequent improvements. By incorporating two complementary rewards-Recursively Confidence Increase Reward and Final Answer Confidence Reward-we show that R-TAP-enhanced models consistently outperform conventional single-pass methods for both large language models (LLMs) and vision-language models (VLMs). Moreover, by analyzing the frequency of "Oops"-like expressions in model responses, we find that R-TAP-applied models exhibit significantly fewer self-reflective patterns, resulting in more stable and faster inference-time reasoning. We hope R-TAP pave the way evolving into efficient and elaborated methods to refine the reasoning processes of future AI.