Oráculos de Resposta do Espaço de Código: Gerando Políticas Multiagente Interpretáveis com Modelos de Linguagem de Grande Porte

Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models

March 10, 2026

Autores: Daniel Hennes, Zun Li, John Schultz, Marc Lanctot

cs.AI

Resumo

Avanços recentes em aprendizagem por reforço multiagente, particularmente os Oráculos de Resposta no Espaço de Políticas (PSRO), têm permitido o cálculo de equilíbrios aproximados da teoria dos jogos em domínios cada vez mais complexos. No entanto, estes métodos dependem de oráculos de aprendizagem por reforço profunda que produzem políticas de rede neural de 'caixa preta', tornando-as difíceis de interpretar, confiar ou depurar. Apresentamos os Oráculos de Resposta no Espaço de Código (CSRO), uma nova estrutura que aborda este desafio substituindo os oráculos de RL por Modelos de Linguagem de Grande Escala (LLMs). O CSRO reformula o cálculo da melhor resposta como uma tarefa de geração de código, solicitando que um LLM gere políticas diretamente como código legível por humanos. Esta abordagem não só produz políticas intrinsecamente interpretáveis, como também aproveita o conhecimento pré-treinado do LLM para descobrir estratégias complexas e semelhantes às humanas. Exploramos múltiplas formas de construir e melhorar um oráculo baseado em LLM: prompt de zero-shot, refinamento iterativo e AlphaEvolve, um sistema evolutivo distribuído baseado em LLM. Demonstramos que o CSRO atinge um desempenho competitivo com as linhas de base enquanto produz um conjunto diversificado de políticas explicáveis. O nosso trabalho apresenta uma nova perspetiva sobre a aprendizagem multiagente, deslocando o foco da otimização de parâmetros de política opacos para a síntese de comportamentos algorítmicos interpretáveis.

English

Recent advances in multi-agent reinforcement learning, particularly Policy-Space Response Oracles (PSRO), have enabled the computation of approximate game-theoretic equilibria in increasingly complex domains. However, these methods rely on deep reinforcement learning oracles that produce `black-box' neural network policies, making them difficult to interpret, trust or debug. We introduce Code-Space Response Oracles (CSRO), a novel framework that addresses this challenge by replacing RL oracles with Large Language Models (LLMs). CSRO reframes the best response computation as a code generation task, prompting an LLM to generate policies directly as human-readable code. This approach not only yields inherently interpretable policies but also leverages the LLM's pretrained knowledge to discover complex, human-like strategies. We explore multiple ways to construct and enhance an LLM-based oracle: zero-shot prompting, iterative refinement and AlphaEvolve, a distributed LLM-based evolutionary system. We demonstrate that CSRO achieves performance competitive with baselines while producing a diverse set of explainable policies. Our work presents a new perspective on multi-agent learning, shifting the focus from optimizing opaque policy parameters to synthesizing interpretable algorithmic behavior.