Code-Space Response Oracles: Het Genereren van Interpreteerbaar Multi-Agent Beleid met Large Language Models
Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models
March 10, 2026
Auteurs: Daniel Hennes, Zun Li, John Schultz, Marc Lanctot
cs.AI
Samenvatting
Recente vooruitgang in multi-agent reinforcement learning, met name Policy-Space Response Oracles (PSRO), heeft de berekening van benaderende speltheoretische evenwichten in steeds complexere domeinen mogelijk gemaakt. Deze methoden zijn echter afhankelijk van deep reinforcement learning orakels die 'black-box' neurale netwerk policies produceren, waardoor ze moeilijk te interpreteren, te vertrouwen of te debuggen zijn. Wij introduceren Code-Space Response Oracles (CSRO), een nieuw raamwerk dat deze uitdaging aanpakt door RL-orakels te vervangen door Large Language Models (LLM's). CSRO herformuleert de beste-responsberekening als een code-generatietaak, waarbij een LLM wordt aangezet om policies direct als mensleesbare code te genereren. Deze aanpak levert niet alleen inherent interpreteerbare policies op, maar benut ook de vooraf getrainde kennis van de LLM om complexe, mensachtige strategieën te ontdekken. Wij onderzoeken meerdere manieren om een op LLM gebaseerd orakel te construeren en te verbeteren: zero-shot prompting, iteratieve verfijning en AlphaEvolve, een gedistribueerd op LLM gebaseerd evolutionair systeem. Wij tonen aan dat CSRO prestaties levert die competitief zijn met baseline-methoden, terwijl het een diverse set verklaarbare policies produceert. Ons werk biedt een nieuw perspectief op multi-agent learning, waarbij de focus verschuift van het optimaliseren van ondoorzichtige policyparameters naar het synthetiseren van interpreteerbaar algoritmisch gedrag.
English
Recent advances in multi-agent reinforcement learning, particularly Policy-Space Response Oracles (PSRO), have enabled the computation of approximate game-theoretic equilibria in increasingly complex domains. However, these methods rely on deep reinforcement learning oracles that produce `black-box' neural network policies, making them difficult to interpret, trust or debug. We introduce Code-Space Response Oracles (CSRO), a novel framework that addresses this challenge by replacing RL oracles with Large Language Models (LLMs). CSRO reframes the best response computation as a code generation task, prompting an LLM to generate policies directly as human-readable code. This approach not only yields inherently interpretable policies but also leverages the LLM's pretrained knowledge to discover complex, human-like strategies. We explore multiple ways to construct and enhance an LLM-based oracle: zero-shot prompting, iterative refinement and AlphaEvolve, a distributed LLM-based evolutionary system. We demonstrate that CSRO achieves performance competitive with baselines while producing a diverse set of explainable policies. Our work presents a new perspective on multi-agent learning, shifting the focus from optimizing opaque policy parameters to synthesizing interpretable algorithmic behavior.