Künstliche Generationsintelligenz: Kulturelle Akkumulation im Verstärkungslernen

Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning

June 1, 2024

Autoren: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster

cs.AI

Zusammenfassung

Die kulturelle Akkumulation treibt den offenen und vielfältigen Fortschritt in Fähigkeiten über die menschliche Geschichte hinweg voran. Sie baut einen wachsenden Wissens- und Fähigkeitsschatz auf, indem sie individuelle Erkundung mit der zwischen Generationen erfolgenden Informationsübertragung kombiniert. Obwohl sie unter Menschen weit verbreitet erfolgreich ist, bleibt die Fähigkeit künstlicher Lernagenten, Kultur anzuhäufen, weitgehend unerforscht. Insbesondere streben Ansätze zum verstärkenden Lernen in der Regel nur nach Verbesserungen über ein einzelnes Leben hinweg. Generationsalgorithmen, die existieren, versäumen es, die offene, emergente Natur der kulturellen Akkumulation einzufangen, die es Individuen ermöglicht, Innovation und Imitation gegeneinander abzuwägen. Aufbauend auf der zuvor gezeigten Fähigkeit von Verstärkungslernagenten, soziales Lernen durchzuführen, stellen wir fest, dass Trainingssetups, die dies mit unabhängigem Lernen ausbalancieren, zur kulturellen Akkumulation führen. Diese akkumulierenden Agenten übertreffen diejenigen, die nur für ein einzelnes Leben trainiert wurden, mit derselben kumulativen Erfahrung. Wir erforschen diese Akkumulation, indem wir zwei Modelle unter zwei unterschiedlichen Vorstellungen einer Generation konstruieren: episodische Generationen, bei denen die Akkumulation durch kontextbezogenes Lernen erfolgt, und Trainingszeit-Generationen, bei denen die Akkumulation durch gewichtsbasiertes Lernen erfolgt. Kulturelle Akkumulation durch kontextbezogenes und gewichtsbasiertes Lernen kann analog zu Wissens- und Fähigkeitsakkumulation interpretiert werden. Nach unserem Kenntnisstand ist diese Arbeit die erste, die allgemeine Modelle präsentiert, die eine emergente kulturelle Akkumulation im Verstärkungslernen erreichen, und damit neue Wege zu offeneren Lernsystemen eröffnet sowie neue Möglichkeiten zur Modellierung menschlicher Kultur aufzeigt.

English

Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.