Oracles de Réponse Espace-Code : Génération de Politiques Multi-Agents Interprétables avec des Modèles de Langage à Grande Échelle
Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models
March 10, 2026
Auteurs: Daniel Hennes, Zun Li, John Schultz, Marc Lanctot
cs.AI
Résumé
Les récents progrès en apprentissage par renforcement multi-agent, particulièrement les Oracles de Réponse dans l'Espace des Politiques (PSRO), ont permis le calcul d'équilibres de théorie des jeux approximatifs dans des domaines de plus en plus complexes. Cependant, ces méthodes reposent sur des oracles d'apprentissage par renforcement profond qui produisent des politiques sous forme de réseaux de neurones « boîte noire », les rendant difficiles à interpréter, à faire confiance ou à déboguer. Nous présentons les Oracles de Réponse dans l'Espace du Code (CSRO), un nouveau cadre qui relève ce défi en remplaçant les oracles d'apprentissage par renforcement par des modèles de langage de grande taille (LLM). Le CSRO reformule le calcul de la meilleure réponse comme une tâche de génération de code, en incitant un LLM à générer des politiques directement sous forme de code lisible par un humain. Cette approche produit non seulement des politiques intrinsèquement interprétables, mais exploite également les connaissances pré-entraînées du LLM pour découvrir des stratégies complexes, semblables à celles des humains. Nous explorons plusieurs méthodes pour construire et améliorer un oracle basé sur un LLM : l'incitation zero-shot, le raffinement itératif et AlphaEvolve, un système évolutif distribué basé sur les LLM. Nous démontrons que le CSRO atteint des performances compétitives par rapport aux méthodes de référence tout en produisant un ensemble diversifié de politiques explicables. Notre travail offre une nouvelle perspective sur l'apprentissage multi-agent, déplaçant l'attention de l'optimisation de paramètres de politique opaques vers la synthèse de comportements algorithmiques interprétables.
English
Recent advances in multi-agent reinforcement learning, particularly Policy-Space Response Oracles (PSRO), have enabled the computation of approximate game-theoretic equilibria in increasingly complex domains. However, these methods rely on deep reinforcement learning oracles that produce `black-box' neural network policies, making them difficult to interpret, trust or debug. We introduce Code-Space Response Oracles (CSRO), a novel framework that addresses this challenge by replacing RL oracles with Large Language Models (LLMs). CSRO reframes the best response computation as a code generation task, prompting an LLM to generate policies directly as human-readable code. This approach not only yields inherently interpretable policies but also leverages the LLM's pretrained knowledge to discover complex, human-like strategies. We explore multiple ways to construct and enhance an LLM-based oracle: zero-shot prompting, iterative refinement and AlphaEvolve, a distributed LLM-based evolutionary system. We demonstrate that CSRO achieves performance competitive with baselines while producing a diverse set of explainable policies. Our work presents a new perspective on multi-agent learning, shifting the focus from optimizing opaque policy parameters to synthesizing interpretable algorithmic behavior.