Descobrindo Pipelines Cooperativos: Autopesquisa para Dilemas Sociais Sequenciais

Resumo

Estudamos a auto-pesquisa em dois níveis para cooperação: um agente AI de loop externo que redesenha autonomamente o pipeline de loop interno de um sistema de síntese de políticas baseado em LLM para Dilemas Sociais Sequenciais (SSDs) multiagente. Um agente pesquisador R (executado como um agente de codificação) lê o código-fonte do loop interno, edita prompts de sistema, funções de feedback, bibliotecas auxiliares e lógica de iteração, executa avaliações e decide o que manter, seguindo o paradigma de auto-pesquisa. Em dois jogos (Cleanup e Gathering), dois LLMs sintetizadores de políticas e dois objetivos de bem-estar (eficiência utilitarista e maximin rawlsiano), o pesquisador supera consistentemente as linhas de base projetadas manualmente, reduz significativamente a variância entre execuções e supera a otimização baseada apenas em prompts. Os pipelines descobertos são dependentes do objetivo: apenas sob maximin o pesquisador insere um mecanismo explícito de equidade nos pipelines sintetizadores, uma classe de mecanismo ausente tanto em seu próprio prompt de sistema agnóstico ao objetivo quanto em todos os pipelines otimizados para eficiência. Isso sustenta uma leitura de design de informação na qual o pesquisador escolhe o que revelar ao sintetizador racional limitado em função do objetivo de bem-estar. Código em https://github.com/vicgalle/autoresearch-social-dilemmas.

English

We study two-level autoresearch for cooperation: an outer-loop AI agent autonomously redesigns the inner-loop pipeline of an LLM policy-synthesis system for multi-agent Sequential Social Dilemmas (SSDs). A researcher agent R (run as a coding agent) reads the inner-loop source code, edits system prompts, feedback functions, helper libraries, and iteration logic, runs evaluations, and decides what to keep, following the autoresearch paradigm. Across two games (Cleanup and Gathering), two policy-synthesizer LLMs, and two welfare objectives (utilitarian efficiency and Rawlsian maximin), the researcher reliably exceeds hand-designed baselines, sharply tightens run-to-run variance, and outperforms prompt-only optimization. The discovered pipelines are objective-dependent: only under maximin does the researcher inject an explicit fairness mechanism into synthesizer pipelines, a class of mechanism that is absent from its own objective-agnostic system prompt and from every efficiency-optimized pipeline. This supports an information-design reading in which the researcher chooses what to reveal to the boundedly rational synthesizer as a function of the welfare objective. Code at https://github.com/vicgalle/autoresearch-social-dilemmas.