Plug-and-Play-Benchmarking von Reinforcement-Learning-Algorithmen für großskalige Strömungskontrolle

Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control

January 21, 2026

papers.authors: Jannis Becktepe, Aleksandra Franz, Nils Thuerey, Sebastian Peitz

cs.AI

papers.abstract

Reinforcement Learning (RL) hat vielversprechende Ergebnisse in der aktiven Strömungskontrolle (AFC) gezeigt, dennoch ist der Fortschritt auf diesem Gebiet nach wie vor schwer zu bewerten, da bestehende Studien auf heterogenen Beobachtungs- und Aktuierungsschemata, numerischen Setups und Bewertungsprotokollen basieren. Aktuelle AFC-Benchmarks versuchen, diese Probleme anzugehen, sind jedoch stark auf externe numerische Strömungssimulationen (CFD-Solver) angewiesen, nicht vollständig differenzierbar und bieten nur eingeschränkte Unterstützung für 3D- und Multi-Agenten-Szenarien. Um diese Einschränkungen zu überwinden, stellen wir FluidGym vor, die erste eigenständige, vollständig differenzierbare Benchmark-Suite für RL in der AFC. Vollständig in PyTorch auf Basis des GPU-beschleunigten PICT-Solvers entwickelt, läuft FluidGym in einem einzigen Python-Stack, erfordert keine externe CFD-Software und bietet standardisierte Bewertungsprotokolle. Wir präsentieren Baseline-Ergebnisse mit PPO und SAC und stellen alle Umgebungen, Datensätze und trainierten Modelle als öffentliche Ressourcen zur Verfügung. FluidGym ermöglicht den systematischen Vergleich von Steuerungsmethoden, schafft eine skalierbare Grundlage für zukünftige Forschung in der lernbasierten Strömungskontrolle und ist unter https://github.com/safe-autonomous-systems/fluidgym verfügbar.

English

Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.