Рекурсивный процесс "Думай-Отвечай" для больших языковых моделей и визуально-языковых моделей

Recursive Think-Answer Process for LLMs and VLMs

March 2, 2026

Авторы: Byung-Kwan Lee, Youngchae Chee, Yong Man Ro

cs.AI

Аннотация

Модели типа «думай-отвечай», такие как DeepSeek-R1, достигли значительного прогресса за счёт использования интерпретируемого внутреннего рассуждения. Однако, несмотря на частое присутствие саморефлексивных маркеров вроде «Ой!», они остаются уязвимыми к ошибкам вывода при однопроходном выводе. Для преодоления этого ограничения мы предлагаем эффективный Рекурсивный Процесс «Думай-Отвечай» (R-TAP), который позволяет моделям вступать в итеративные циклы рассуждений и генерировать более точные ответы, выходя за рамки традиционных однопроходных подходов. Ключевым элементом данного метода является генератор уверенности, который оценивает определённость ответов модели и направляет последующие улучшения. Внедряя два комплементарных вознаграждения — вознаграждение за рекурсивное увеличение уверенности и вознаграждение за уверенность итогового ответа — мы демонстрируем, что модели, усиленные R-TAP, стабильно превосходят традиционные однопроходные методы как для больших языковых моделей (LLM), так и для моделей «зрение-язык» (VLM). Более того, анализируя частоту появления выражений типа «Ой» в ответах моделей, мы обнаруживаем, что модели с применением R-TAP демонстрируют значительно меньше саморефлексивных паттернов, что приводит к более стабильным и быстрым рассуждениям во время вывода. Мы надеемся, что R-TAP проложит путь к развитию эффективных и продуманных методов для усовершенствования процессов рассуждения будущего ИИ.

English

Think-Answer reasoners such as DeepSeek-R1 have made notable progress by leveraging interpretable internal reasoning. However, despite the frequent presence of self-reflective cues like "Oops!", they remain vulnerable to output errors during single-pass inference. To address this limitation, we propose an efficient Recursive Think-Answer Process (R-TAP) that enables models to engage in iterative reasoning cycles and generate more accurate answers, going beyond conventional single-pass approaches. Central to this approach is a confidence generator that evaluates the certainty of model responses and guides subsequent improvements. By incorporating two complementary rewards-Recursively Confidence Increase Reward and Final Answer Confidence Reward-we show that R-TAP-enhanced models consistently outperform conventional single-pass methods for both large language models (LLMs) and vision-language models (VLMs). Moreover, by analyzing the frequency of "Oops"-like expressions in model responses, we find that R-TAP-applied models exhibit significantly fewer self-reflective patterns, resulting in more stable and faster inference-time reasoning. We hope R-TAP pave the way evolving into efficient and elaborated methods to refine the reasoning processes of future AI.