Groter, Beter, Sneller: Menselijk niveau Atari met menselijke efficiëntie

Bigger, Better, Faster: Human-level Atari with human-level efficiency

May 30, 2023

Auteurs: Max Schwarzer, Johan Obando-Ceron, Aaron Courville, Marc Bellemare, Rishabh Agarwal, Pablo Samuel Castro

cs.AI

Samenvatting

We introduceren een op waarde gebaseerde RL-agent, die we BBF noemen, die bovenmenselijke prestaties behaalt in de Atari 100K-benchmark. BBF maakt gebruik van het opschalen van de neurale netwerken die worden gebruikt voor waardeschatting, evenals een aantal andere ontwerpkeuzes die deze schaalvergroting op een sample-efficiënte manier mogelijk maken. We voeren uitgebreide analyses uit van deze ontwerpkeuzes en bieden inzichten voor toekomstig werk. We sluiten af met een discussie over het bijstellen van de doelstellingen voor sample-efficiënt RL-onderzoek op de ALE. We stellen onze code en data openbaar beschikbaar op https://github.com/google-research/google-research/tree/master/bigger_better_faster.

English

We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.