Inteligencia Generacional Artificial: Acumulación Cultural en el Aprendizaje por Refuerzo

Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning

June 1, 2024

Autores: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster

cs.AI

Resumen

La acumulación cultural impulsa el progreso abierto y diverso en capacidades a lo largo de la historia humana. Construye un cuerpo de conocimiento y habilidades en expansión al combinar la exploración individual con la transmisión intergeneracional de información. A pesar de su éxito generalizado entre los humanos, la capacidad de los agentes de aprendizaje artificial para acumular cultura sigue siendo poco explorada. En particular, los enfoques de aprendizaje por refuerzo suelen buscar mejoras únicamente durante una sola vida. Los algoritmos generacionales que existen no logran capturar la naturaleza abierta y emergente de la acumulación cultural, que permite a los individuos equilibrar innovación e imitación. Basándonos en la capacidad previamente demostrada de los agentes de aprendizaje por refuerzo para realizar aprendizaje social, encontramos que las configuraciones de entrenamiento que equilibran esto con el aprendizaje independiente dan lugar a la acumulación cultural. Estos agentes acumuladores superan a aquellos entrenados para una sola vida con la misma experiencia acumulada. Exploramos esta acumulación construyendo dos modelos bajo dos nociones distintas de generación: generaciones episódicas, en las que la acumulación ocurre mediante aprendizaje en contexto, y generaciones en tiempo de entrenamiento, en las que la acumulación ocurre mediante aprendizaje en pesos. La acumulación cultural en contexto y en pesos puede interpretarse como análoga a la acumulación de conocimiento y habilidades, respectivamente. Hasta donde sabemos, este trabajo es el primero en presentar modelos generales que logran una acumulación cultural emergente en el aprendizaje por refuerzo, abriendo nuevas vías hacia sistemas de aprendizaje más abiertos, así como presentando nuevas oportunidades para modelar la cultura humana.

English

Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.