Inteligência Artificial Geracional: Acumulação Cultural em Aprendizado por Reforço

Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning

June 1, 2024

Autores: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster

cs.AI

Resumo

A acumulação cultural impulsiona o progresso aberto e diversificado nas capacidades ao longo da história humana. Ela constrói um corpo crescente de conhecimento e habilidades ao combinar a exploração individual com a transmissão intergeracional de informações. Apesar de seu sucesso generalizado entre os humanos, a capacidade de agentes de aprendizado artificial acumularem cultura permanece pouco explorada. Em particular, as abordagens de aprendizado por reforço geralmente buscam melhorias apenas ao longo de uma única vida. Algoritmos geracionais que existem falham em capturar a natureza aberta e emergente da acumulação cultural, que permite que os indivíduos façam uma troca entre inovação e imitação. Com base na capacidade previamente demonstrada de agentes de aprendizado por reforço realizarem aprendizado social, descobrimos que configurações de treinamento que equilibram isso com aprendizado independente dão origem à acumulação cultural. Esses agentes acumuladores superam aqueles treinados para uma única vida com a mesma experiência cumulativa. Exploramos essa acumulação construindo dois modelos sob duas noções distintas de geração: gerações episódicas, nas quais a acumulação ocorre por meio de aprendizado contextual, e gerações de treinamento, nas quais a acumulação ocorre por meio de aprendizado nos pesos. A acumulação cultural contextual e nos pesos pode ser interpretada como análoga à acumulação de conhecimento e habilidades, respectivamente. Até onde sabemos, este trabalho é o primeiro a apresentar modelos gerais que alcançam acumulação cultural emergente em aprendizado por reforço, abrindo novos caminhos para sistemas de aprendizado mais abertos, além de apresentar novas oportunidades para modelar a cultura humana.

English

Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.