대규모 유체 제어를 위한 강화 학습 알고리즘의 플러그 앤 플레이 벤치마킹

초록

강화 학습(RL)은 능동 유동 제어(AFC) 분야에서 유망한 결과를 보여주고 있지만, 기존 연구들이 상이한 관측 및 작동 방식, 수치적 설정, 평가 프로토콜에 의존하고 있어 해당 분야의 진전을 평가하기는 여전히 어렵습니다. 현재의 AFC 벤치마크는 이러한 문제를 해결하려 시도하지만 외부 전산 유체 역학(CFD) 솔버에 크게 의존하며, 완전히 미분 가능하지 않고, 제한적인 3차원 및 다중 에이전트 지원만을 제공합니다. 이러한 한계를 극복하기 위해 본 논문은 AFC 분야 RL 연구를 위한 최초의 독립형이며 완전히 미분 가능한 벤치마크 제품군인 FluidGym을 소개합니다. GPU 가속 PICT 솔버 위에 PyTorch로 완전히 구축된 FluidGym은 단일 Python 스택에서 실행되며 외부 CFD 소프트웨어가 필요 없고 표준화된 평가 프로토콜을 제공합니다. PPO와 SAC를 이용한 기준 성능 결과를 제시하며, 모든 환경, 데이터셋 및 학습된 모델을 공개 리소스로 공개합니다. FluidGym은 제어 방법론의 체계적인 비교를 가능하게 하고, 학습 기반 유동 제어 미래 연구를 위한 확장 가능한 기반을 마련하며, https://github.com/safe-autonomous-systems/fluidgym에서 이용 가능합니다.

English

Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.

대규모 유체 제어를 위한 강화 학습 알고리즘의 플러그 앤 플레이 벤치마킹

Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control

초록

Support