Control de Cuerpos Rígidos Dirigidos por Fluidos en el Mundo Real mediante Aprendizaje por Refuerzo Profundo

Resumen

Los avances recientes en aplicaciones del mundo real del aprendizaje por refuerzo (RL, por sus siglas en inglés) han dependido de la capacidad de simular sistemas con precisión a gran escala. Sin embargo, dominios como los sistemas de dinámica de fluidos exhiben fenómenos dinámicos complejos que son difíciles de simular a altas tasas de integración, lo que limita la aplicación directa de los algoritmos modernos de RL profundo a hardware que a menudo es costoso o crítico para la seguridad. En este trabajo, presentamos "Box o Flows", un novedoso sistema experimental de control de banco para evaluar sistemáticamente algoritmos de RL en escenarios dinámicos del mundo real. Describimos los componentes clave de Box o Flows y, mediante una serie de experimentos, demostramos cómo los algoritmos de RL sin modelo de última generación pueden sintetizar una variedad de comportamientos complejos mediante especificaciones de recompensa simples. Además, exploramos el papel del RL fuera de línea en pruebas de hipótesis eficientes en datos mediante la reutilización de experiencias pasadas. Creemos que las ideas obtenidas de este estudio preliminar y la disponibilidad de sistemas como Box o Flows respaldan el camino hacia el desarrollo de algoritmos de RL sistemáticos que puedan aplicarse de manera general a sistemas dinámicos complejos. El material complementario y los videos de los experimentos están disponibles en https://sites.google.com/view/box-o-flows/home.

English

Recent advances in real-world applications of reinforcement learning (RL) have relied on the ability to accurately simulate systems at scale. However, domains such as fluid dynamical systems exhibit complex dynamic phenomena that are hard to simulate at high integration rates, limiting the direct application of modern deep RL algorithms to often expensive or safety critical hardware. In this work, we introduce "Box o Flows", a novel benchtop experimental control system for systematically evaluating RL algorithms in dynamic real-world scenarios. We describe the key components of the Box o Flows, and through a series of experiments demonstrate how state-of-the-art model-free RL algorithms can synthesize a variety of complex behaviors via simple reward specifications. Furthermore, we explore the role of offline RL in data-efficient hypothesis testing by reusing past experiences. We believe that the insights gained from this preliminary study and the availability of systems like the Box o Flows support the way forward for developing systematic RL algorithms that can be generally applied to complex, dynamical systems. Supplementary material and videos of experiments are available at https://sites.google.com/view/box-o-flows/home.

Control de Cuerpos Rígidos Dirigidos por Fluidos en el Mundo Real mediante Aprendizaje por Refuerzo Profundo

Real-World Fluid Directed Rigid Body Control via Deep Reinforcement Learning

Resumen

Support