Oráculos de Respuesta en el Espacio de Código: Generación de Políticas Multi-Agente Interpretables con Modelos de Lenguaje Grande
Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models
March 10, 2026
Autores: Daniel Hennes, Zun Li, John Schultz, Marc Lanctot
cs.AI
Resumen
Los recientes avances en el aprendizaje por refuerzo multiagente, particularmente en los Oráculos de Respuesta en el Espacio de Políticas (PSRO), han permitido calcular equilibrios game-theoréticos aproximados en dominios cada vez más complejos. Sin embargo, estos métodos dependen de oráculos de aprendizaje por refuerzo profundo que producen políticas de red neuronal de 'caja negra', lo que dificulta su interpretación, confianza o depuración. Presentamos los Oráculos de Respuesta en el Espacio de Código (CSRO), un marco novedoso que aborda este desafío reemplazando los oráculos de RL con Modelos de Lenguaje a Gran Escala (LLMs). CSRO replantea el cálculo de la mejor respuesta como una tarea de generación de código, incitando a un LLM a generar políticas directamente como código legible para humanos. Este enfoque no solo produce políticas inherentemente interpretables, sino que también aprovecha el conocimiento preentrenado del LLM para descubrir estrategias complejas y similares a las humanas. Exploramos múltiples formas de construir y mejorar un oráculo basado en LLM: prompting de cero disparos, refinamiento iterativo y AlphaEvolve, un sistema evolutivo distribuido basado en LLM. Demostramos que CSRO logra un rendimiento competitivo con los métodos de referencia mientras produce un conjunto diverso de políticas explicables. Nuestro trabajo presenta una nueva perspectiva sobre el aprendizaje multiagente, desplazando el enfoque desde la optimización de parámetros de política opacos hacia la síntesis de comportamientos algorítmicos interpretables.
English
Recent advances in multi-agent reinforcement learning, particularly Policy-Space Response Oracles (PSRO), have enabled the computation of approximate game-theoretic equilibria in increasingly complex domains. However, these methods rely on deep reinforcement learning oracles that produce `black-box' neural network policies, making them difficult to interpret, trust or debug. We introduce Code-Space Response Oracles (CSRO), a novel framework that addresses this challenge by replacing RL oracles with Large Language Models (LLMs). CSRO reframes the best response computation as a code generation task, prompting an LLM to generate policies directly as human-readable code. This approach not only yields inherently interpretable policies but also leverages the LLM's pretrained knowledge to discover complex, human-like strategies. We explore multiple ways to construct and enhance an LLM-based oracle: zero-shot prompting, iterative refinement and AlphaEvolve, a distributed LLM-based evolutionary system. We demonstrate that CSRO achieves performance competitive with baselines while producing a diverse set of explainable policies. Our work presents a new perspective on multi-agent learning, shifting the focus from optimizing opaque policy parameters to synthesizing interpretable algorithmic behavior.