Intelligenza Artificiale Generazionale: Accumulazione Culturale nell'Apprendimento per Rinforzo

Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning

June 1, 2024

Autori: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster

cs.AI

Abstract

L'accumulazione culturale guida il progresso aperto e diversificato delle capacità lungo la storia umana. Costruisce un corpus in espansione di conoscenze e competenze combinando l'esplorazione individuale con la trasmissione intergenerazionale di informazioni. Nonostante il suo ampio successo tra gli esseri umani, la capacità degli agenti di apprendimento artificiale di accumulare cultura rimane poco esplorata. In particolare, gli approcci all'apprendimento per rinforzo tipicamente mirano a miglioramenti limitati a una singola generazione. Gli algoritmi generazionali esistenti non riescono a catturare la natura aperta ed emergente dell'accumulazione culturale, che consente agli individui di bilanciare innovazione e imitazione. Basandoci sulla capacità precedentemente dimostrata degli agenti di apprendimento per rinforzo di eseguire apprendimento sociale, scopriamo che le configurazioni di addestramento che bilanciano questo aspetto con l'apprendimento indipendente danno origine all'accumulazione culturale. Questi agenti accumulanti superano quelli addestrati per una singola generazione con la stessa esperienza cumulativa. Esploriamo questa accumulazione costruendo due modelli basati su due distinte nozioni di generazione: generazioni episodiche, in cui l'accumulazione avviene tramite apprendimento in-context, e generazioni durante l'addestramento, in cui l'accumulazione avviene tramite apprendimento in-weights. L'accumulazione culturale in-context e in-weights può essere interpretata come analoga rispettivamente all'accumulazione di conoscenza e di competenze. Per quanto ne sappiamo, questo lavoro è il primo a presentare modelli generali che raggiungono un'accumulazione culturale emergente nell'apprendimento per rinforzo, aprendo nuove strade verso sistemi di apprendimento più aperti, oltre a presentare nuove opportunità per modellare la cultura umana.

English

Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.