Maior, Melhor, Mais Rápido: Atari em nível humano com eficiência em nível humano

Bigger, Better, Faster: Human-level Atari with human-level efficiency

May 30, 2023

Autores: Max Schwarzer, Johan Obando-Ceron, Aaron Courville, Marc Bellemare, Rishabh Agarwal, Pablo Samuel Castro

cs.AI

Resumo

Apresentamos um agente de RL baseado em valor, que chamamos de BBF, que alcança desempenho super-humano no benchmark Atari 100K. O BBF depende da escalabilidade das redes neurais utilizadas para estimação de valor, bem como de uma série de outras escolhas de design que permitem essa escalabilidade de forma eficiente em termos de amostras. Realizamos análises extensivas dessas escolhas de design e fornecemos insights para trabalhos futuros. Concluímos com uma discussão sobre a atualização dos objetivos para pesquisas de RL eficientes em amostras no ALE. Disponibilizamos nosso código e dados publicamente em https://github.com/google-research/google-research/tree/master/bigger_better_faster.

English

We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.