Entdeckung kooperativer Pipelines: Autoresearch für sequentielle soziale Dilemmata

Zusammenfassung

Wir untersuchen eine zweistufige Autoforschung für Kooperation: Ein KI-Agent der äußeren Schleife gestaltet die innere Pipeline eines LLM-basierten Policy-Synthese-Systems für Multi-Agenten-Sequenzielle-Soziale-Dilemmata (SSDs) autonom neu. Ein Forscher-Agent R (ausgeführt als Code-Agent) liest den Quellcode der inneren Schleife, bearbeitet Systemprompts, Rückmeldefunktionen, Hilfsbibliotheken und Iterationslogik, führt Evaluierungen durch und entscheidet, was behalten werden soll – dem Autoforschungs-Paradigma folgend. Über zwei Spiele (Cleanup und Gathering), zwei Policy-Synthese-LLMs und zwei Wohlfahrtsziele (utilitaristische Effizienz und Rawlssches Maximin) hinweg übertrifft der Forscher zuverlässig handentworfene Basislinien, reduziert die Lauf-zu-Lauf-Varianz erheblich und übertrifft eine reine Prompt-Optimierung. Die entdeckten Pipelines sind zielabhängig: Nur unter Maximin injiziert der Forscher einen expliziten Fairnessmechanismus in die Synthesizer-Pipelines – eine Klasse von Mechanismen, die sowohl in seinem eigenen zielagnostischen Systemprompt als auch in jeder effizienzoptimierten Pipeline fehlt. Dies stützt eine informationsdesign-orientierte Lesart, bei der der Forscher in Abhängigkeit vom Wohlfahrtsziel entscheidet, was er dem beschränkt rationalen Synthesizer offenbart. Code unter https://github.com/vicgalle/autoresearch-social-dilemmas.

English

We study two-level autoresearch for cooperation: an outer-loop AI agent autonomously redesigns the inner-loop pipeline of an LLM policy-synthesis system for multi-agent Sequential Social Dilemmas (SSDs). A researcher agent R (run as a coding agent) reads the inner-loop source code, edits system prompts, feedback functions, helper libraries, and iteration logic, runs evaluations, and decides what to keep, following the autoresearch paradigm. Across two games (Cleanup and Gathering), two policy-synthesizer LLMs, and two welfare objectives (utilitarian efficiency and Rawlsian maximin), the researcher reliably exceeds hand-designed baselines, sharply tightens run-to-run variance, and outperforms prompt-only optimization. The discovered pipelines are objective-dependent: only under maximin does the researcher inject an explicit fairness mechanism into synthesizer pipelines, a class of mechanism that is absent from its own objective-agnostic system prompt and from every efficiency-optimized pipeline. This supports an information-design reading in which the researcher chooses what to reveal to the boundedly rational synthesizer as a function of the welfare objective. Code at https://github.com/vicgalle/autoresearch-social-dilemmas.