Сатори: Обучение с подкреплением с цепочкой действий улучшает рассуждения LLM через авторегрессивный поиск

Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search

February 4, 2025

Авторы: Maohao Shen, Guangtao Zeng, Zhenting Qi, Zhang-Wei Hong, Zhenfang Chen, Wei Lu, Gregory Wornell, Subhro Das, David Cox, Chuang Gan

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали выдающиеся способности к рассуждениям в различных областях. Недавние исследования показали, что увеличение вычислительной сложности во время тестирования улучшает способности LLM к рассуждениям. Обычно это включает обширную выборку во время вывода, управляемую внешним верификатором LLM, что приводит к двухигровой системе. Несмотря на внешнее руководство, эффективность этой системы демонстрирует потенциал одиночной LLM для решения сложных задач. Таким образом, мы ставим новую исследовательскую задачу: можем ли мы внутренне усилить возможности поиска для фундаментального улучшения способностей к рассуждениям одиночной LLM? В данной работе исследуется ортогональное направление, сосредотачиваясь на LLM после обучения для авторегрессивного поиска (т.е. расширенного процесса рассуждений с саморефлексией и самоисследованием новых стратегий). Для достижения этой цели мы предлагаем формат рассуждения Цепочка-Действие-Мысль (COAT) и двухэтапную парадигму обучения: 1) этап настройки формата малого масштаба для внутреннего усвоения формата рассуждения COAT и 2) этап самосовершенствования большого масштаба с использованием обучения с подкреплением. Наш подход привел к созданию Satori, LLM на 7 миллиардов параметров, обученной на моделях и данных с открытым исходным кодом. Обширные эмпирические оценки показывают, что Satori достигает передового уровня производительности на математических бенчмарках по рассуждениям, проявляя сильную обобщаемость к задачам вне области применения. Код, данные и модели будут полностью открыты для общего доступа.

English

Large language models (LLMs) have demonstrated remarkable reasoning capabilities across diverse domains. Recent studies have shown that increasing test-time computation enhances LLMs' reasoning capabilities. This typically involves extensive sampling at inference time guided by an external LLM verifier, resulting in a two-player system. Despite external guidance, the effectiveness of this system demonstrates the potential of a single LLM to tackle complex tasks. Thus, we pose a new research problem: Can we internalize the searching capabilities to fundamentally enhance the reasoning abilities of a single LLM? This work explores an orthogonal direction focusing on post-training LLMs for autoregressive searching (i.e., an extended reasoning process with self-reflection and self-exploration of new strategies). To achieve this, we propose the Chain-of-Action-Thought (COAT) reasoning and a two-stage training paradigm: 1) a small-scale format tuning stage to internalize the COAT reasoning format and 2) a large-scale self-improvement stage leveraging reinforcement learning. Our approach results in Satori, a 7B LLM trained on open-source models and data. Extensive empirical evaluations demonstrate that Satori achieves state-of-the-art performance on mathematical reasoning benchmarks while exhibits strong generalization to out-of-domain tasks. Code, data, and models will be fully open-sourced.