相互推論により、より小さなLLMが強力な問題解決者となる

Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers

August 12, 2024

著者: Zhenting Qi, Mingyuan Ma, Jiahang Xu, Li Lyna Zhang, Fan Yang, Mao Yang

cs.AI

要旨

本論文では、ファインチューニングや上位モデルを必要とせずに、小型言語モデル（SLM）の推論能力を大幅に向上させる自己対戦型相互推論アプローチ「rStar」を紹介する。rStarは、推論を自己対戦型の生成-識別プロセスに分離する。まず、ターゲットSLMがモンテカルロ木探索（MCTS）を人間のような豊富な推論アクションで拡張し、より高品質な推論軌道を構築する。次に、ターゲットSLMと同等の能力を持つ別のSLMが識別器として機能し、ターゲットSLMによって生成された各軌道を検証する。相互に合意された推論軌道は相互に一貫していると見なされ、正しい可能性が高い。5つのSLMにわたる広範な実験により、rStarがGSM8K、GSM-Hard、MATH、SVAMP、StrategyQAなど多様な推論問題を効果的に解決できることが示された。特に、rStarはLLaMA2-7BのGSM8K精度を12.51%から63.91%に、Mistral-7Bを36.46%から81.88%に、LLaMA3-8B-Instructを74.53%から91.13%に向上させた。コードはhttps://github.com/zhentingqi/rStarで公開予定である。

English

This paper introduces rStar, a self-play mutual reasoning approach that significantly improves reasoning capabilities of small language models (SLMs) without fine-tuning or superior models. rStar decouples reasoning into a self-play mutual generation-discrimination process. First, a target SLM augments the Monte Carlo Tree Search (MCTS) with a rich set of human-like reasoning actions to construct higher quality reasoning trajectories. Next, another SLM, with capabilities similar to the target SLM, acts as a discriminator to verify each trajectory generated by the target SLM. The mutually agreed reasoning trajectories are considered mutual consistent, thus are more likely to be correct. Extensive experiments across five SLMs demonstrate rStar can effectively solve diverse reasoning problems, including GSM8K, GSM-Hard, MATH, SVAMP, and StrategyQA. Remarkably, rStar boosts GSM8K accuracy from 12.51% to 63.91% for LLaMA2-7B, from 36.46% to 81.88% for Mistral-7B, from 74.53% to 91.13% for LLaMA3-8B-Instruct. Code will be available at https://github.com/zhentingqi/rStar.