Оракулы отклика в кодовом пространстве: генерация интерпретируемых политик для мультиагентных систем с помощью больших языковых моделей
Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models
March 10, 2026
Авторы: Daniel Hennes, Zun Li, John Schultz, Marc Lanctot
cs.AI
Аннотация
Последние достижения в области многопоместного обучения с подкреплением, в частности метод оракулов пространства политик (PSRO), позволили вычислять приближенные игровые равновесия во все более сложных областях. Однако эти методы опираются на глубокие обучающиеся с подкреплением оракулы, которые производят политики в виде «черных ящиков» на основе нейронных сетей, что затрудняет их интерпретацию, доверие к ним и отладку. Мы представляем метод оракулов пространства кода (CSRO) — новую концепцию, которая решает эту проблему, заменяя RL-оракулы большими языковыми моделями (LLM). CSRO переосмысливает вычисление наилучшего ответа как задачу генерации кода, предлагая LLM генерировать политики напрямую в виде читаемого человеком кода. Этот подход не только дает изначально интерпретируемые политики, но и использует предварительно обученные знания LLM для обнаружения сложных, человеко-подобных стратегий. Мы исследуем несколько способов создания и улучшения оракула на основе LLM: zero-shot prompting, итеративное уточнение и AlphaEvolve — распределенную эволюционную систему на основе LLM. Мы показываем, что CSRO демонстрирует результаты, сопоставимые с базовыми методами, при этом создавая разнообразный набор объяснимых политик. Наша работа предлагает новый взгляд на многопоместное обучение, смещая фокус с оптимизации непрозрачных параметров политик на синтез интерпретируемого алгоритмического поведения.
English
Recent advances in multi-agent reinforcement learning, particularly Policy-Space Response Oracles (PSRO), have enabled the computation of approximate game-theoretic equilibria in increasingly complex domains. However, these methods rely on deep reinforcement learning oracles that produce `black-box' neural network policies, making them difficult to interpret, trust or debug. We introduce Code-Space Response Oracles (CSRO), a novel framework that addresses this challenge by replacing RL oracles with Large Language Models (LLMs). CSRO reframes the best response computation as a code generation task, prompting an LLM to generate policies directly as human-readable code. This approach not only yields inherently interpretable policies but also leverages the LLM's pretrained knowledge to discover complex, human-like strategies. We explore multiple ways to construct and enhance an LLM-based oracle: zero-shot prompting, iterative refinement and AlphaEvolve, a distributed LLM-based evolutionary system. We demonstrate that CSRO achieves performance competitive with baselines while producing a diverse set of explainable policies. Our work presents a new perspective on multi-agent learning, shifting the focus from optimizing opaque policy parameters to synthesizing interpretable algorithmic behavior.