Многоагентное сотрудничество через контекстный вывод поведения со-игроков

Аннотация

Достижение кооперации между эгоистичными агентами остается фундаментальной проблемой в многoагентном обучении с подкреплением. Недавние исследования показали, что взаимное сотрудничество может быть индуцировано между «обучаемо-осознающими» агентами, которые учитывают и формируют динамику обучения своих соперников. Однако существующие подходы обычно опираются на жестко заданные, зачастую противоречивые предположения о правилах обучения соперников или навязывают строгое разделение между «наивными учениками», обновляющимися на быстрых временных масштабах, и «мета-обучающимися» агентами, наблюдающими эти обновления. В данной работе мы демонстрируем, что способность к контекстному обучению у последовательностных моделей позволяет обеспечить осознание обучения соперника без необходимости жестко заданных предположений или явного разделения временных масштабов. Мы показываем, что обучение агентов на основе последовательностных моделей против разнообразного распределения соперников естественным образом индуцирует контекстные стратегии наилучшего ответа, которые эффективно функционируют как алгоритмы обучения на быстром внутриэпизодном временном масштабе. Мы обнаруживаем, что кооперативный механизм, выявленный в предыдущих работах — когда уязвимость к шантажу стимулирует взаимное формирование — естественным образом возникает в данной setting: контекстная адаптация делает агентов уязвимыми к шантажу, а возникающее взаимное давление с целью формирования динамики контекстного обучения оппонента разрешается в обучение кооперативному поведению. Наши результаты позволяют предположить, что стандартное децентрализованное обучение с подкреплением на последовательностных моделях в сочетании с разнообразием соперников обеспечивает масштабируемый путь к обучению кооперативному поведению.

English

Achieving cooperation among self-interested agents remains a fundamental challenge in multi-agent reinforcement learning. Recent work showed that mutual cooperation can be induced between "learning-aware" agents that account for and shape the learning dynamics of their co-players. However, existing approaches typically rely on hardcoded, often inconsistent, assumptions about co-player learning rules or enforce a strict separation between "naive learners" updating on fast timescales and "meta-learners" observing these updates. Here, we demonstrate that the in-context learning capabilities of sequence models allow for co-player learning awareness without requiring hardcoded assumptions or explicit timescale separation. We show that training sequence model agents against a diverse distribution of co-players naturally induces in-context best-response strategies, effectively functioning as learning algorithms on the fast intra-episode timescale. We find that the cooperative mechanism identified in prior work-where vulnerability to extortion drives mutual shaping-emerges naturally in this setting: in-context adaptation renders agents vulnerable to extortion, and the resulting mutual pressure to shape the opponent's in-context learning dynamics resolves into the learning of cooperative behavior. Our results suggest that standard decentralized reinforcement learning on sequence models combined with co-player diversity provides a scalable path to learning cooperative behaviors.

Многоагентное сотрудничество через контекстный вывод поведения со-игроков

Multi-agent cooperation through in-context co-player inference

Аннотация

Support