Più grande, migliore, più veloce: Atari a livello umano con efficienza paragonabile a quella umana

Bigger, Better, Faster: Human-level Atari with human-level efficiency

May 30, 2023

Autori: Max Schwarzer, Johan Obando-Ceron, Aaron Courville, Marc Bellemare, Rishabh Agarwal, Pablo Samuel Castro

cs.AI

Abstract

Introduciamo un agente RL basato sul valore, che chiamiamo BBF, in grado di raggiungere prestazioni sovrumane nel benchmark Atari 100K. BBF si basa sul ridimensionamento delle reti neurali utilizzate per la stima del valore, insieme a una serie di altre scelte progettuali che consentono questo ridimensionamento in modo efficiente dal punto di vista dei campioni. Conduciamo analisi approfondite di queste scelte progettuali e forniamo spunti per lavori futuri. Concludiamo con una discussione sull'aggiornamento degli obiettivi per la ricerca RL efficiente nei campioni sull'ALE. Rendiamo disponibili pubblicamente il nostro codice e i dati all'indirizzo https://github.com/google-research/google-research/tree/master/bigger_better_faster.

English

We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.