인공 세대 지능: 강화 학습에서의 문화적 축적

Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning

June 1, 2024

저자: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster

cs.AI

초록

문화적 축적은 인간 역사 전반에 걸친 무한하고 다양한 능력의 진보를 이끌어왔습니다. 이는 개별적인 탐구와 세대 간 정보 전달을 결합하여 지식과 기술의 영역을 지속적으로 확장해 나갑니다. 인간 사회에서 광범위한 성공을 거두었음에도 불구하고, 인공 학습 에이전트가 문화를 축적할 수 있는 능력은 아직 충분히 탐구되지 않았습니다. 특히, 강화 학습 접근법은 일반적으로 단일 생애에 걸친 개선에 초점을 맞추는 경향이 있습니다. 기존의 세대적 알고리즘들은 혁신과 모방 간의 균형을 통해 개방적이고 창발적인 특성을 지닌 문화적 축적의 본질을 제대로 포착하지 못하고 있습니다. 이전에 강화 학습 에이전트가 사회적 학습을 수행할 수 있음이 입증된 바를 바탕으로, 우리는 독립적 학습과의 균형을 맞춘 훈련 설정이 문화적 축적을 가능하게 한다는 사실을 발견했습니다. 이러한 축적을 통해 학습된 에이전트들은 동일한 누적 경험을 가진 단일 생애 훈련 에이전트들을 능가하는 성과를 보였습니다. 우리는 두 가지 세대 개념 하에서 두 가지 모델을 구축하여 이러한 축적을 탐구했습니다: 에피소드적 세대, 즉 문맥 내 학습을 통해 축적이 발생하는 경우와 훈련 시간적 세대, 즉 가중치 내 학습을 통해 축적이 발생하는 경우입니다. 문맥 내 축적과 가중치 내 축적은 각각 지식 축적과 기술 축적에 비유될 수 있습니다. 우리가 아는 한, 이 연구는 강화 학습에서 창발적 문화적 축적을 달성하는 일반적인 모델을 최초로 제시함으로써, 더 개방적인 학습 시스템을 향한 새로운 길을 열어주는 동시에 인간 문화 모델링을 위한 새로운 기회를 제공합니다.

English

Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.