Cooperación multiagente mediante inferencia contextual de cojugadores

Resumen

Lograr la cooperación entre agentes interesados en su propio beneficio sigue siendo un desafío fundamental en el aprendizaje por refuerzo multiagente. Trabajos recientes han demostrado que la cooperación mutua puede inducirse entre agentes "conscientes del aprendizaje" que tienen en cuenta y moldean la dinámica de aprendizaje de sus copartícipes. Sin embargo, los enfoques existentes suelen depender de suposiciones predefinidas, a menudo inconsistentes, sobre las reglas de aprendizaje del copartícipe, o imponen una separación estricta entre "aprendices ingenuos" que se actualizan en escalas de tiempo rápidas y "meta-aprendices" que observan estas actualizaciones. Aquí demostramos que las capacidades de aprendizaje en contexto de los modelos de secuencia permiten la conciencia del aprendizaje del copartícipe sin requerir suposiciones predefinidas o una separación explícita de escalas de tiempo. Mostramos que entrenar agentes basados en modelos de secuencia contra una distribución diversa de copartícipes induce naturalmente estrategias de mejor respuesta en contexto, funcionando efectivamente como algoritmos de aprendizaje en la escala de tiempo rápida intra-episodio. Descubrimos que el mecanismo cooperativo identificado en trabajos previos —donde la vulnerabilidad a la extorsión impulsa un moldeado mutuo— emerge naturalmente en este entorno: la adaptación en contexto vuelve a los agentes vulnerables a la extorsión, y la presión mutua resultante para moldear la dinámica de aprendizaje en contexto del oponente se resuelve en el aprendizaje de un comportamiento cooperativo. Nuestros resultados sugieren que el aprendizaje por refuerzo descentralizado estándar en modelos de secuencia, combinado con la diversidad de copartícipes, proporciona un camino escalable para aprender comportamientos cooperativos.

English

Achieving cooperation among self-interested agents remains a fundamental challenge in multi-agent reinforcement learning. Recent work showed that mutual cooperation can be induced between "learning-aware" agents that account for and shape the learning dynamics of their co-players. However, existing approaches typically rely on hardcoded, often inconsistent, assumptions about co-player learning rules or enforce a strict separation between "naive learners" updating on fast timescales and "meta-learners" observing these updates. Here, we demonstrate that the in-context learning capabilities of sequence models allow for co-player learning awareness without requiring hardcoded assumptions or explicit timescale separation. We show that training sequence model agents against a diverse distribution of co-players naturally induces in-context best-response strategies, effectively functioning as learning algorithms on the fast intra-episode timescale. We find that the cooperative mechanism identified in prior work-where vulnerability to extortion drives mutual shaping-emerges naturally in this setting: in-context adaptation renders agents vulnerable to extortion, and the resulting mutual pressure to shape the opponent's in-context learning dynamics resolves into the learning of cooperative behavior. Our results suggest that standard decentralized reinforcement learning on sequence models combined with co-player diversity provides a scalable path to learning cooperative behaviors.

Cooperación multiagente mediante inferencia contextual de cojugadores

Multi-agent cooperation through in-context co-player inference

Resumen

Support