Evaluación Comparativa Plug-and-Play de Algoritmos de Aprendizaje por Refuerzo para el Control de Flujo a Gran Escala
Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control
January 21, 2026
Autores: Jannis Becktepe, Aleksandra Franz, Nils Thuerey, Sebastian Peitz
cs.AI
Resumen
El aprendizaje por refuerzo (RL) ha mostrado resultados prometedores en el control activo de flujo (AFC), sin embargo, el progreso en este campo sigue siendo difícil de evaluar ya que los estudios existentes se basan en esquemas heterogéneos de observación y actuación, configuraciones numéricas y protocolos de evaluación. Los benchmarks actuales de AFC intentan abordar estos problemas, pero dependen en gran medida de solucionadores externos de dinámica de fluidos computacional (CFD), no son completamente diferenciables y ofrecen un soporte limitado para 3D y múltiples agentes. Para superar estas limitaciones, presentamos FluidGym, el primer conjunto de benchmarks autónomo y completamente diferenciable para RL en AFC. Desarrollado completamente en PyTorch sobre el solucionador acelerado por GPU PICT, FluidGym funciona en un único entorno Python, no requiere software externo de CFD y proporciona protocolos de evaluación estandarizados. Presentamos resultados de referencia con PPO y SAC y publicamos todos los entornos, conjuntos de datos y modelos entrenados como recursos públicos. FluidGym permite la comparación sistemática de métodos de control, establece una base escalable para futuras investigaciones en control de flujo basado en aprendizaje y está disponible en https://github.com/safe-autonomous-systems/fluidgym.
English
Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.