ChatPaper.aiChatPaper

Plus grand, meilleur, plus rapide : Atari au niveau humain avec une efficacité humaine

Bigger, Better, Faster: Human-level Atari with human-level efficiency

May 30, 2023
Auteurs: Max Schwarzer, Johan Obando-Ceron, Aaron Courville, Marc Bellemare, Rishabh Agarwal, Pablo Samuel Castro
cs.AI

Résumé

Nous présentons un agent d'apprentissage par renforcement basé sur la valeur, que nous appelons BBF, qui atteint des performances surhumaines dans le benchmark Atari 100K. BBF repose sur la mise à l'échelle des réseaux de neurones utilisés pour l'estimation de la valeur, ainsi que sur un certain nombre de choix de conception qui permettent cette mise à l'échelle de manière efficace en termes d'échantillons. Nous menons des analyses approfondies de ces choix de conception et fournissons des insights pour les travaux futurs. Nous concluons par une discussion sur la mise à jour des objectifs pour la recherche en apprentissage par renforcement efficace en échantillons sur l'ALE. Nous mettons notre code et nos données à disposition publiquement à l'adresse suivante : https://github.com/google-research/google-research/tree/master/bigger_better_faster.
English
We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.
PDF40December 15, 2024