大規模流体制御のための強化学習アルゴリズムのプラグアンドプレイ型ベンチマーキング

要旨

強化学習（RL）は能動的流体制御（AFC）において有望な成果を示しているが、既存研究が異種の観測・駆動方式、数値設定、評価プロトコルに依存しているため、この分野の進展を評価することは依然として困難である。現在のAFCベンチマークはこれらの問題に対処しようと試みているが、外部の計算流体力学（CFD）ソルバーへの依存度が高く、完全微分可能ではなく、3Dおよびマルチエージェント対応が限定的である。これらの制限を克服するため、我々はAFCにおけるRL初のスタンドアロンかつ完全微分可能なベンチマークスイートであるFluidGymを提案する。GPU加速されたPICTソルバー上にPyTorchで完全構築されたFluidGymは単一のPythonスタックで動作し、外部CFDソフトウェアを必要とせず、標準化された評価プロトコルを提供する。PPOおよびSACを用いたベースライン結果を示し、全ての環境、データセット、学習済みモデルを公開リソースとしてリリースする。FluidGymは制御手法の体系的な比較を可能とし、学習ベース流体制御の将来研究に向けたスケーラブルな基盤を確立する。本リソースはhttps://github.com/safe-autonomous-systems/fluidgym で公開されている。

English

Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.

大規模流体制御のための強化学習アルゴリズムのプラグアンドプレイ型ベンチマーキング

Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control

要旨

Support