より大きく、より良く、より速く：人間レベルの効率で達成する人間レベルのAtariプレイ

Bigger, Better, Faster: Human-level Atari with human-level efficiency

May 30, 2023

著者: Max Schwarzer, Johan Obando-Ceron, Aaron Courville, Marc Bellemare, Rishabh Agarwal, Pablo Samuel Castro

cs.AI

要旨

我々は、Atari 100Kベンチマークにおいて人間を超える性能を達成する価値ベースのRLエージェント「BBF」を紹介する。BBFは、価値推定に使用するニューラルネットワークのスケーリングに依存しており、さらにこのスケーリングをサンプル効率的に実現するためのいくつかの設計選択を行っている。我々はこれらの設計選択について詳細な分析を行い、今後の研究に向けた洞察を提供する。最後に、ALEにおけるサンプル効率的なRL研究の目標を更新することについて議論する。我々のコードとデータは、https://github.com/google-research/google-research/tree/master/bigger_better_faster で公開されている。

English

We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.