Kunstmatige Generatie-intelligentie: Culturele Accumulatie in Reinforcement Learning

Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning

June 1, 2024

Auteurs: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster

cs.AI

Samenvatting

Culturele accumulatie drijft de open-einde en diverse vooruitgang in vaardigheden die de menselijke geschiedenis omspant. Het bouwt een uitbreidend lichaam van kennis en vaardigheden op door individuele exploratie te combineren met intergenerationele informatieoverdracht. Ondanks het wijdverbreide succes bij mensen, blijft het vermogen van kunstmatige leeragenten om cultuur te accumuleren onderbelicht. In het bijzonder streven benaderingen van reinforcement learning doorgaans naar verbeteringen binnen slechts één levensduur. Generatie-algoritmen die wel bestaan, slagen er niet in om de open-einde, emergente aard van culturele accumulatie vast te leggen, wat individuen in staat stelt om innovatie en imitatie af te wegen. Voortbouwend op het eerder aangetoonde vermogen van reinforcement learning-agenten om sociaal leren uit te voeren, ontdekken we dat trainingsopstellingen die dit in balans brengen met onafhankelijk leren, leiden tot culturele accumulatie. Deze accumulerende agenten presteren beter dan diegene die getraind zijn voor een enkele levensduur met dezelfde cumulatieve ervaring. We verkennen deze accumulatie door twee modellen te construeren onder twee verschillende noties van een generatie: episodische generaties, waarbij accumulatie plaatsvindt via in-context leren, en trainingsgeneraties, waarbij accumulatie plaatsvindt via in-weights leren. In-context en in-weights culturele accumulatie kunnen respectievelijk worden geïnterpreteerd als analoog aan kennis- en vaardigheidsaccumulatie. Voor zover wij weten, is dit werk het eerste dat algemene modellen presenteert die emergente culturele accumulatie in reinforcement learning bereiken, wat nieuwe wegen opent naar meer open-einde leer systemen, en tegelijkertijd nieuwe mogelijkheden biedt voor het modelleren van menselijke cultuur.

English

Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.