Gedebiaseerde modelgebaseerde representaties voor sample-efficiënte continue controle

Samenvatting

Modelgebaseerde representaties zijn recentelijk naar voren gekomen als een veelbelovend raamwerk dat latente dynamische informatie in de representaties integreert voor stroomafwaarts off-policy actor-critic leren. Het combineert impliciet de voordelen van zowel modelvrije als modelgebaseerde benaderingen, terwijl de trainingskosten die gepaard gaan met modelgebaseerde methoden worden vermeden. Niettemin kunnen bestaande modelgebaseerde representatiemethoden er niet in slagen voldoende informatie over relevante variabelen vast te leggen en kunnen ze overmatig aanpassen aan vroege ervaringen in de replay buffer. Dit leidt tot vertekeningen in de representatie en het actor-critic leren, wat resulteert in inferieure prestaties. Om dit aan te pakken, stellen we Debiased model-based Representations for Q-learning voor, afgekort het DR.Q-algoritme. DR.Q maximaliseert expliciet de mutual information tussen de representaties van het huidige toestand-actiepaar en de volgende toestand, naast het minimaliseren van hun afwijkingen, en bemonstert transities met vervaagde geprioriteerde ervaringsreplay. We evalueren DR.Q op talrijke continue controlebenchmarks met een enkele set hyperparameters, en de resultaten tonen aan dat DR.Q recente sterke baselines kan evenaren of overtreffen, soms met een ruime marge. Onze code is beschikbaar op https://github.com/dmksjfl/DR.Q.

English

Model-based representations recently stand out as a promising framework that embeds latent dynamics information into the representations for downstream off-policy actor-critic learning. It implicitly combines the advantages of both model-free and model-based approaches while avoiding the training costs associated with model-based methods. Nevertheless, existing model-based representation methods can fail to capture sufficient information about relevant variables and can overfit to early experiences in the replay buffer. These incur biases in representation and actor-critic learning, leading to inferior performance. To address this, we propose Debiased model-based Representations for Q-learning, tagged DR.Q algorithm. DR.Q explicitly maximizes the mutual information between the representations of the current state-action pair and the next state besides minimizing their deviations, and samples transitions with faded prioritized experience replay. We evaluate DR.Q on numerous continuous control benchmarks with a single set of hyperparameters, and the results demonstrate that DR.Q can match or surpass recent strong baselines, sometimes outperforming them by a large margin. Our code is available at https://github.com/dmksjfl/DR.Q.