コード空間応答オラクル：大規模言語モデルによる解釈可能なマルチエージェントポリシーの生成

Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models

March 10, 2026

著者: Daniel Hennes, Zun Li, John Schultz, Marc Lanctot

cs.AI

要旨

マルチエージェント強化学習、特にPolicy-Space Response Oracles（PSRO）における最近の進展により、複雑化する領域における近似的なゲーム理論的均衡の計算が可能となってきた。しかし、これらの手法は「ブラックボックス」的なニューラルネットワークポリシーを生成する深層強化学習オラクルに依存しており、解釈性や信頼性、デバッグの面で課題を抱えている。本稿では、この課題に対処する新たな枠組みとして、強化学習オラクルを大規模言語モデル（LLM）に置き換えるCode-Space Response Oracles（CSRO）を提案する。CSROは最適応答計算をコード生成タスクとして再定義し、LLMに対して人間が読解可能なコードとして直接ポリシーを生成させる。このアプローチは、本質的に解釈可能なポリシーを生成するだけでなく、LLMが事前学習した知識を活用して複雑な人間的な戦略を発見することを可能にする。我々は、ゼロショットプロンプティング、反復的な改良、そして分散型LLMベースの進化システムであるAlphaEvolveといった、LLMベースのオラクルを構築・強化する複数の手法を探求する。CSROが、多様な説明可能なポリシーを生成しつつ、ベースライン手法と遜色ない性能を達成することを実証する。本研究は、不透明なポリシーパラメータの最適化から、解釈可能なアルゴリズム的振る舞いの合成へと焦点を移すことで、マルチエージェント学習に対する新たな視点を提示する。

English

Recent advances in multi-agent reinforcement learning, particularly Policy-Space Response Oracles (PSRO), have enabled the computation of approximate game-theoretic equilibria in increasingly complex domains. However, these methods rely on deep reinforcement learning oracles that produce `black-box' neural network policies, making them difficult to interpret, trust or debug. We introduce Code-Space Response Oracles (CSRO), a novel framework that addresses this challenge by replacing RL oracles with Large Language Models (LLMs). CSRO reframes the best response computation as a code generation task, prompting an LLM to generate policies directly as human-readable code. This approach not only yields inherently interpretable policies but also leverages the LLM's pretrained knowledge to discover complex, human-like strategies. We explore multiple ways to construct and enhance an LLM-based oracle: zero-shot prompting, iterative refinement and AlphaEvolve, a distributed LLM-based evolutionary system. We demonstrate that CSRO achieves performance competitive with baselines while producing a diverse set of explainable policies. Our work presents a new perspective on multi-agent learning, shifting the focus from optimizing opaque policy parameters to synthesizing interpretable algorithmic behavior.