Descubriendo Pipelines Cooperativos: Autoinvestigación para Dilemas Sociales Secuenciales

Resumen

Estudiamos un sistema de autoinvestigación en dos niveles para la cooperación: un agente de IA de bucle externo rediseña autónomamente el pipeline de bucle interno de un sistema de síntesis de políticas basado en un LLM para Dilemas Sociales Secuenciales (SSDs) multiagente. Un agente investigador R (ejecutado como un agente de codificación) lee el código fuente del bucle interno, edita los prompts del sistema, las funciones de retroalimentación, las bibliotecas auxiliares y la lógica de iteración, ejecuta evaluaciones y decide qué conservar, siguiendo el paradigma de autoinvestigación. En dos juegos (Cleanup y Gathering), dos LLMs sintetizadores de políticas y dos objetivos de bienestar (eficiencia utilitarista y maximin rawlsiano), el investigador supera de manera fiable las líneas base diseñadas manualmente, reduce drásticamente la varianza entre ejecuciones y supera a la optimización basada únicamente en prompts. Los pipelines descubiertos dependen del objetivo: solo bajo el criterio maximin, el investigador introduce un mecanismo explícito de equidad en los pipelines del sintetizador, una clase de mecanismo ausente tanto en su propio prompt de sistema, que es independiente del objetivo, como en todos los pipelines optimizados para la eficiencia. Esto respalda una interpretación de diseño de la información en la que el investigador elige qué revelar al sintetizador de racionalidad limitada en función del objetivo de bienestar. Código en https://github.com/vicgalle/autoresearch-social-dilemmas.

English

We study two-level autoresearch for cooperation: an outer-loop AI agent autonomously redesigns the inner-loop pipeline of an LLM policy-synthesis system for multi-agent Sequential Social Dilemmas (SSDs). A researcher agent R (run as a coding agent) reads the inner-loop source code, edits system prompts, feedback functions, helper libraries, and iteration logic, runs evaluations, and decides what to keep, following the autoresearch paradigm. Across two games (Cleanup and Gathering), two policy-synthesizer LLMs, and two welfare objectives (utilitarian efficiency and Rawlsian maximin), the researcher reliably exceeds hand-designed baselines, sharply tightens run-to-run variance, and outperforms prompt-only optimization. The discovered pipelines are objective-dependent: only under maximin does the researcher inject an explicit fairness mechanism into synthesizer pipelines, a class of mechanism that is absent from its own objective-agnostic system prompt and from every efficiency-optimized pipeline. This supports an information-design reading in which the researcher chooses what to reveal to the boundedly rational synthesizer as a function of the welfare objective. Code at https://github.com/vicgalle/autoresearch-social-dilemmas.