Plug-and-Play Benchmarking van Reinforcement Learning-algoritmen voor Grootschalige Stromingsregeling

Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control

January 21, 2026

Auteurs: Jannis Becktepe, Aleksandra Franz, Nils Thuerey, Sebastian Peitz

cs.AI

Samenvatting

Versterkend leren (RL) heeft veelbelovende resultaten getoond bij actieve stromingsregeling (AFC), maar de vooruitgang in het veld blijft moeilijk in te schatten omdat bestaande studies zich baseren op heterogene observatie- en actuatieschema's, numerieke opzetten en evaluatieprotocollen. Huidige AFC-benchmarks proberen deze problemen aan te pakken, maar zijn sterk afhankelijk van externe computationele fluïdumdynamica (CFD)-solvers, zijn niet volledig differentieerbaar en bieden beperkte ondersteuning voor 3D en multi-agent systemen. Om deze beperkingen te overwinnen, introduceren wij FluidGym, de eerste zelfstandige, volledig differentieerbare benchmark suite voor RL in AFC. Volledig gebouwd in PyTorch bovenop de GPU-versnelde PICT-solver, draait FluidGym in een enkele Python-stack, vereist geen externe CFD-software en biedt gestandaardiseerde evaluatieprotocollen. Wij presenteren basislijnresultaten met PPO en SAC en stellen alle omgevingen, datasets en getrainde modellen beschikbaar als publieke bronnen. FluidGym maakt een systematische vergelijking van regelmethoden mogelijk, legt een schaalbare basis voor toekomstig onderzoek in leergebaseerde stromingsregeling en is beschikbaar op https://github.com/safe-autonomous-systems/fluidgym.

English

Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.