Intelligence Générationnelle Artificielle : Accumulation Culturelle dans l'Apprentissage par Renforcement

Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning

June 1, 2024

Auteurs: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster

cs.AI

Résumé

L'accumulation culturelle est à l'origine des progrès ouverts et diversifiés dans les capacités qui jalonnent l'histoire humaine. Elle construit un corpus de connaissances et de compétences en expansion en combinant l'exploration individuelle avec la transmission intergénérationnelle d'informations. Malgré son succès répandu chez les humains, la capacité des agents d'apprentissage artificiels à accumuler de la culture reste peu explorée. En particulier, les approches d'apprentissage par renforcement visent généralement des améliorations sur une seule durée de vie. Les algorithmes générationnels existants ne parviennent pas à capturer la nature ouverte et émergente de l'accumulation culturelle, qui permet aux individus de faire des compromis entre innovation et imitation. En nous appuyant sur la capacité précédemment démontrée des agents d'apprentissage par renforcement à effectuer un apprentissage social, nous constatons que les configurations d'entraînement qui équilibrent cela avec un apprentissage indépendant donnent lieu à une accumulation culturelle. Ces agents accumulant surpassent ceux entraînés pour une seule durée de vie avec la même expérience cumulative. Nous explorons cette accumulation en construisant deux modèles sous deux notions distinctes de génération : des générations épisodiques, où l'accumulation se fait via un apprentissage en contexte, et des générations d'entraînement, où l'accumulation se fait via un apprentissage en poids. L'accumulation culturelle en contexte et en poids peut être interprétée comme analogue à l'accumulation de connaissances et de compétences, respectivement. À notre connaissance, ce travail est le premier à présenter des modèles généraux qui réalisent une accumulation culturelle émergente en apprentissage par renforcement, ouvrant de nouvelles voies vers des systèmes d'apprentissage plus ouverts, tout en offrant de nouvelles opportunités pour modéliser la culture humaine.

English

Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.