サトリ：行動思考連鎖を用いた強化学習がLLM推論を自己回帰的探索によって向上させる

Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search

February 4, 2025

著者: Maohao Shen, Guangtao Zeng, Zhenting Qi, Zhang-Wei Hong, Zhenfang Chen, Wei Lu, Gregory Wornell, Subhro Das, David Cox, Chuang Gan

cs.AI

要旨

大規模言語モデル（LLMs）は、さまざまな領域で顕著な推論能力を示しています。最近の研究では、テスト時の計算量を増やすことがLLMsの推論能力を向上させることを示しています。これには通常、外部LLM検証者によって導かれた推論時の広範なサンプリングが含まれ、二人対戦システムが生じます。外部のガイダンスにもかかわらず、このシステムの効果は、単一のLLMが複雑なタスクに取り組む潜在能力を示しています。したがって、新しい研究課題を提起します：単一のLLMの推論能力を根本的に向上させるために検索能力を内部化できるか。この研究では、自己反映と新しい戦略の自己探索を伴う拡張された推論プロセスである自己回帰的検索のための事後トレーニングLLMsに焦点を当てた直交する方向を探ります。これを達成するために、Chain-of-Action-Thought（COAT）推論と、COAT推論形式を内部化するための小規模フォーマット調整段階、および強化学習を活用した大規模な自己改善段階の2段階トレーニングパラダイムを提案します。当社のアプローチにより、オープンソースのモデルとデータでトレーニングされた7BのLLMであるSatoriが生まれました。包括的な実証評価により、Satoriは数学的推論のベンチマークで最先端のパフォーマンスを達成し、ドメイン外のタスクに対する強力な汎化能力を示しています。コード、データ、モデルは完全にオープンソース化されます。

English

Large language models (LLMs) have demonstrated remarkable reasoning capabilities across diverse domains. Recent studies have shown that increasing test-time computation enhances LLMs' reasoning capabilities. This typically involves extensive sampling at inference time guided by an external LLM verifier, resulting in a two-player system. Despite external guidance, the effectiveness of this system demonstrates the potential of a single LLM to tackle complex tasks. Thus, we pose a new research problem: Can we internalize the searching capabilities to fundamentally enhance the reasoning abilities of a single LLM? This work explores an orthogonal direction focusing on post-training LLMs for autoregressive searching (i.e., an extended reasoning process with self-reflection and self-exploration of new strategies). To achieve this, we propose the Chain-of-Action-Thought (COAT) reasoning and a two-stage training paradigm: 1) a small-scale format tuning stage to internalize the COAT reasoning format and 2) a large-scale self-improvement stage leveraging reinforcement learning. Our approach results in Satori, a 7B LLM trained on open-source models and data. Extensive empirical evaluations demonstrate that Satori achieves state-of-the-art performance on mathematical reasoning benchmarks while exhibits strong generalization to out-of-domain tasks. Code, data, and models will be fully open-sourced.