Principiële analyse van evaluatie- en ontwerpparadigma's voor diep versterkingsleren

Samenvatting

Vanaf het gebruik van diepe neurale netwerken om de toestand-actiewaardenfunctie te benaderen, wat leidde tot het winnen van een van de meest uitdagende spellen, tot algoritmische vooruitgang die het mogelijk maakte problemen op te lossen zonder dat de regels van de uitdaging expliciet werden gesteld, staat het onderzoek naar versterkend leren al een decennium lang in het middelpunt van opmerkelijke wetenschappelijke vooruitgang. In dit artikel richten we ons op de belangrijkste ingrediënten van deze onderzoeksvooruitgang en analyseren we de canonieke evaluatie- en ontwerpparadigma's in versterkend leren. We introduceren de theoretische grondslagen van schalingswetten in versterkend leren en tonen aan dat de asymptotische prestaties van algoritmen voor versterkend leren geen monotone relatie vertonen tussen prestatie-ranglijsten en dataregiems. We voeren grootschalige experimenten uit en onze resultaten laten zien dat een onderzoekslijn in versterkend leren onder de canonieke ontwerp- en evaluatieparadigma's tot onjuiste conclusies heeft geleid. Onze analyse en resultaten bieden een kernanalyse van schaling, capaciteit en complexiteit van diep versterkend leren.

English

Starting from the utilization of deep neural networks to approximate the state-action value function that led to winning one of the most challenging games, to algorithmic advancements that allowed solving problems without even explicitly stating the rules of the challenge at hand, reinforcement learning research has been the center of remarkable scientific progress for the past decade. In this paper, we focus on the key ingredients of this research progress and we analyze the canonical evaluation and design paradigms in reinforcement learning. We introduce the theoretical foundations of scaling laws in reinforcement learning and show that the asymptotic performance of reinforcement learning algorithms does not have a monotone relationship between performance rankings and data-regimes. We conduct large-scale experiments and our results demonstrate that a line of reinforcement learning research under the canonical design and evaluation paradigms resulted in incorrect conclusions. Our analysis and results provide a core analysis on scaling, capacity and complexity of deep reinforcement learning.