LiteSearch: LLMのための効率的な木探索

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

著者: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

要旨

近年の研究によると、木探索アルゴリズム（例：モンテカルロ木探索）は、複雑な数学的推論タスクにおける大規模言語モデル（LLM）の性能を劇的に向上させることが示されている。しかし、これらのアルゴリズムは、無駄の多い探索戦略のために、貪欲法デコーディングの10倍以上の計算リソースを必要とすることが多く、実用的なアプリケーションへの展開が困難である。本研究では、この問題を解決するために、動的なノード選択とノードレベルの探索予算（最大子ノード数）計算を備えた新しいガイド付き木探索アルゴリズムを提案する。最終的な答えに向けた探索の進捗（履歴）と、ステップごとのアノテーションなしで訓練された価値ネットワークからのガイダンス（未来）を考慮することで、本アルゴリズムは、割り当てられた計算予算の範囲内で最も有望な木ノードを反復的に選択し、それを展開する。GSM8KおよびTabMWPデータセットで実施した実験により、本手法が競争力のある性能を提供するだけでなく、ベースライン手法と比較して大幅に低い計算コストを享受することが実証された。

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.