Größer, Besser, Schneller: Menschliches Niveau bei Atari mit menschlicher Effizienz

Bigger, Better, Faster: Human-level Atari with human-level efficiency

May 30, 2023

Autoren: Max Schwarzer, Johan Obando-Ceron, Aaron Courville, Marc Bellemare, Rishabh Agarwal, Pablo Samuel Castro

cs.AI

Zusammenfassung

Wir stellen einen wertbasierten RL-Agenten vor, den wir BBF nennen, der übermenschliche Leistungen im Atari 100K-Benchmark erzielt. BBF stützt sich auf die Skalierung der neuronalen Netze, die für die Werteabschätzung verwendet werden, sowie auf eine Reihe weiterer Designentscheidungen, die diese Skalierung auf eine probeneffiziente Weise ermöglichen. Wir führen umfangreiche Analysen dieser Designentscheidungen durch und liefern Erkenntnisse für zukünftige Arbeiten. Wir schließen mit einer Diskussion über die Aktualisierung der Zielvorgaben für probeneffiziente RL-Forschung auf der ALE. Unseren Code und unsere Daten stellen wir öffentlich unter https://github.com/google-research/google-research/tree/master/bigger_better_faster zur Verfügung.

English

We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.