Benchmarking Plug-and-Play des Algorithmes d'Apprentissage par Renforcement pour le Contrôle d'Écoulements à Grande Échelle
Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control
January 21, 2026
papers.authors: Jannis Becktepe, Aleksandra Franz, Nils Thuerey, Sebastian Peitz
cs.AI
papers.abstract
L'apprentissage par renforcement (RL) a montré des résultats prometteurs dans le contrôle actif des écoulements (AFC), mais les progrès dans ce domaine restent difficiles à évaluer car les études existantes reposent sur des schémas d'observation et d'actionnement, des configurations numériques et des protocoles d'évaluation hétérogènes. Les benchmarks AFC actuels tentent de résoudre ces problèmes, mais ils dépendent fortement de solveurs de dynamique des fluides numérique (CFD) externes, ne sont pas entièrement différentiables et offrent un support limité pour les écoulements 3D et les systèmes multi-agents. Pour surmonter ces limitations, nous présentons FluidGym, la première suite de benchmarks autonome et entièrement différentiable pour le RL en AFC. Entièrement développée dans PyTorch sur la base du solveur accéléré par GPU PICT, FluidGym s'exécute dans une pile Python unique, ne nécessite aucun logiciel CFD externe et fournit des protocoles d'évaluation standardisés. Nous présentons des résultats de référence avec PPO et SAC et publions tous les environnements, jeux de données et modèles entraînés comme ressources publiques. FluidGym permet une comparaison systématique des méthodes de contrôle, établit une base évolutive pour la recherche future sur le contrôle des écoulements par apprentissage et est disponible à l'adresse https://github.com/safe-autonomous-systems/fluidgym.
English
Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.