Más grande, mejor, más rápido: Atari a nivel humano con eficiencia a nivel humano

Bigger, Better, Faster: Human-level Atari with human-level efficiency

May 30, 2023

Autores: Max Schwarzer, Johan Obando-Ceron, Aaron Courville, Marc Bellemare, Rishabh Agarwal, Pablo Samuel Castro

cs.AI

Resumen

Presentamos un agente de RL basado en valores, al que llamamos BBF, que logra un rendimiento sobrehumano en el benchmark Atari 100K. BBF se basa en escalar las redes neuronales utilizadas para la estimación de valores, así como en una serie de decisiones de diseño que permiten este escalado de manera eficiente en términos de muestras. Realizamos análisis exhaustivos de estas decisiones de diseño y ofrecemos ideas para trabajos futuros. Concluimos con una discusión sobre la actualización de los objetivos para la investigación de RL eficiente en muestras en el ALE. Ponemos nuestro código y datos a disposición del público en https://github.com/google-research/google-research/tree/master/bigger_better_faster.

English

We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.