CAST: LLMエージェントのためのターンレベル教師としてのゲームソルバー

要旨

長期間にわたるゲームで大規模言語モデル（LLM）を動作させるように訓練することは、汎用的な意思決定に向けた有望な一歩である。しかし、検証可能な報酬を用いた強化学習（RLVR）は、どの意思決定が成功を決定づけるかをほとんど明らかにしない、疎な最終報酬に依存している。より密なプロセス信号が、この不足したターン単位のクレジットを供給できる可能性があるが、既存の情報源は低コストかつ高精度を両立させるのが難しい。我々は、ゲームソルバーの状態値の変化が、ある行動が状態を成功に近づけるかどうかを明らかにすることに着目した。この洞察に基づき、我々はCAST（ソルバー教師からのクレジット割り当て）を提案する。これは、これらの値の変化をソルバーアドバンテージに変換し、ターン単位の信号としてRLVRに注入するものである。さらに、ソフト最適ソルバーの仮定の下では、ソルバーアドバンテージの最大化は、ソルバーからのオン政策蒸留と等価であり、教師のロジットではなくスカラー値のみを必要とすることを示す。Sokoban、Minesweeper、Rush Hourにおいて、CASTは、ドメイン内評価と未見難易度評価の両方で、すべての訓練ベースラインを上回る性能を示し、ALFWorldとWebShopでは平均ゼロショット性能で最高を達成した。我々のコードはhttps://github.com/Wloner0809/CAST で公開されている。

English

Training large language models (LLMs) to act in long-horizon games is a promising step toward generalist decision-making, yet reinforcement learning with verifiable rewards (RLVR) relies on sparse final rewards that reveal little about which decisions determine success. Denser process signals could supply this missing turn-level credit, but existing sources are hard to keep both cheap and accurate. We observe that changes in a game solver's state value reveal whether an action advances the state toward success. Building on this insight, we propose CAST (Credit Assignment from Solver Teachers), which converts these value changes into solver advantages and injects them into RLVR as turn-level signals. We further show that, under a soft-optimal solver assumption, maximizing the solver advantage is equivalent to on-policy distillation from the solver, requiring only scalar values rather than teacher logits. Across Sokoban, Minesweeper, and Rush Hour, CAST outperforms all trained baselines on every game under both in-domain and unseen-difficulty evaluation and achieves the highest average zero-shot performance on ALFWorld and WebShop. Our code is available at https://github.com/Wloner0809/CAST.