Benchmarking de Aprendizagem por Reforço para Controle de Fluxo em Larga Escala com Capacidade de Plug-and-Play
Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control
January 21, 2026
Autores: Jannis Becktepe, Aleksandra Franz, Nils Thuerey, Sebastian Peitz
cs.AI
Resumo
O aprendizado por reforço (RL) tem demonstrado resultados promissores no controle ativo de fluxo (AFC), mas o progresso na área permanece difícil de avaliar, uma vez que os estudos existentes dependem de esquemas heterogêneos de observação e atuação, configurações numéricas e protocolos de avaliação. Os benchmarks atuais de AFC tentam resolver essas questões, mas dependem fortemente de solucionadores externos de dinâmica dos fluidos computacional (CFD), não são totalmente diferenciáveis e oferecem suporte limitado para ambientes 3D e multiagente. Para superar essas limitações, apresentamos o FluidGym, o primeiro conjunto de benchmarks autônomo e totalmente diferenciável para RL em AFC. Construído inteiramente em PyTorch sobre o solucionador PICT acelerado por GPU, o FluidGym opera em uma única pilha Python, não requer software externo de CFD e fornece protocolos de avaliação padronizados. Apresentamos resultados de linha de base com PPO e SAC e disponibilizamos todos os ambientes, conjuntos de dados e modelos treinados como recursos públicos. O FluidGym permite a comparação sistemática de métodos de controle, estabelece uma base escalável para pesquisas futuras em controle de fluxo baseado em aprendizado e está disponível em https://github.com/safe-autonomous-systems/fluidgym.
English
Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.