Real-World Vloeistofgestuurde Rigide Lichaamsbesturing via Diep Versterkend Leren

Samenvatting

Recente vooruitgang in real-world toepassingen van reinforcement learning (RL) heeft vertrouwd op het vermogen om systemen op grote schaal nauwkeurig te simuleren. Echter, domeinen zoals vloeistofdynamische systemen vertonen complexe dynamische fenomenen die moeilijk te simuleren zijn bij hoge integratiesnelheden, wat de directe toepassing van moderne deep RL-algoritmen op vaak kostbare of veiligheidskritieke hardware beperkt. In dit werk introduceren we "Box o Flows", een nieuw experimenteel controlesysteem voor op de werkbank, dat systematisch RL-algoritmen evalueert in dynamische real-world scenario's. We beschrijven de belangrijkste componenten van de Box o Flows en demonstreren via een reeks experimenten hoe state-of-the-art modelvrije RL-algoritmen een verscheidenheid aan complexe gedragingen kunnen synthetiseren via eenvoudige beloningsspecificaties. Bovendien onderzoeken we de rol van offline RL in data-efficiënte hypothesetesten door het hergebruiken van eerdere ervaringen. Wij geloven dat de inzichten uit deze voorlopige studie en de beschikbaarheid van systemen zoals de Box o Flows de weg ondersteunen voor de ontwikkeling van systematische RL-algoritmen die algemeen toepasbaar zijn op complexe, dynamische systemen. Aanvullend materiaal en video's van experimenten zijn beschikbaar op https://sites.google.com/view/box-o-flows/home.

English

Recent advances in real-world applications of reinforcement learning (RL) have relied on the ability to accurately simulate systems at scale. However, domains such as fluid dynamical systems exhibit complex dynamic phenomena that are hard to simulate at high integration rates, limiting the direct application of modern deep RL algorithms to often expensive or safety critical hardware. In this work, we introduce "Box o Flows", a novel benchtop experimental control system for systematically evaluating RL algorithms in dynamic real-world scenarios. We describe the key components of the Box o Flows, and through a series of experiments demonstrate how state-of-the-art model-free RL algorithms can synthesize a variety of complex behaviors via simple reward specifications. Furthermore, we explore the role of offline RL in data-efficient hypothesis testing by reusing past experiences. We believe that the insights gained from this preliminary study and the availability of systems like the Box o Flows support the way forward for developing systematic RL algorithms that can be generally applied to complex, dynamical systems. Supplementary material and videos of experiments are available at https://sites.google.com/view/box-o-flows/home.

Real-World Vloeistofgestuurde Rigide Lichaamsbesturing via Diep Versterkend Leren

Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning

Samenvatting

Support