Valutazione Plug-and-Play degli Algoritmi di Apprendimento per Rinforzo per il Controllo di Flusso su Larga Scala
Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control
January 21, 2026
Autori: Jannis Becktepe, Aleksandra Franz, Nils Thuerey, Sebastian Peitz
cs.AI
Abstract
L'apprendimento per rinforzo (RL) ha mostrato risultati promettenti nel controllo attivo del flusso (AFC), ma i progressi in questo campo rimangono difficili da valutare poiché gli studi esistenti si basano su schemi di osservazione e attuazione eterogenei, configurazioni numeriche e protocolli di valutazione diversi. I benchmark AFC attuali tentano di affrontare questi problemi, ma dipendono fortemente da risolutori computazionali di fluidodinamica (CFD) esterni, non sono completamente differenziabili e offrono un supporto limitato per scenari 3D e multi-agente. Per superare queste limitazioni, presentiamo FluidGym, la prima suite di benchmark autonoma e completamente differenziabile per il RL nell'AFC. Sviluppata interamente in PyTorch sul risolutore PICT accelerato da GPU, FluidGym opera in un unico stack Python, non richiede software CFD esterno e fornisce protocolli di valutazione standardizzati. Presentiamo risultati baseline con PPO e SAC e rendiamo disponibili tutti gli ambienti, i dataset e i modelli addestrati come risorse pubbliche. FluidGym consente un confronto sistematico dei metodi di controllo, stabilisce una base scalabile per la futura ricerca nel controllo del flusso basato sull'apprendimento ed è disponibile all'indirizzo https://github.com/safe-autonomous-systems/fluidgym.
English
Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.