Сравнительный анализ методов обучения с подкреплением для управления крупномасштабными течениями по принципу «plug-and-play»
Plug-and-Play Benchmarking of Reinforcement Learning Algorithms for Large-Scale Flow Control
January 21, 2026
Авторы: Jannis Becktepe, Aleksandra Franz, Nils Thuerey, Sebastian Peitz
cs.AI
Аннотация
Подкрепляющее обучение (ПО) продемонстрировало многообещающие результаты в задачах активного управления течениями (АУТ), однако прогресс в этой области остается сложно оцениваемым, поскольку существующие исследования опираются на разнородные схемы наблюдения и управления, численные установки и протоколы оценки. Современные бенчмарки АУТ пытаются решить эти проблемы, но сильно зависят от внешних решателей вычислительной гидродинамики (CFD), не являются полностью дифференцируемыми и предоставляют ограниченную поддержку 3D и многоагентных систем. Для преодоления этих ограничений мы представляем FluidGym — первый автономный, полностью дифференцируемый набор бенчмарков для ПО в АУТ. Построенный полностью на PyTorch поверх GPU-ускоренного решателя PICT, FluidGym работает в едином стеке Python, не требует внешнего CFD-программного обеспечения и предоставляет стандартизированные протоколы оценки. Мы представляем базовые результаты с алгоритмами PPO и SAC и публикуем все среды, наборы данных и обученные модели в качестве общедоступных ресурсов. FluidGym позволяет проводить систематическое сравнение методов управления, создает масштабируемую основу для будущих исследований в области управления течениями на основе обучения и доступен по адресу https://github.com/safe-autonomous-systems/fluidgym.
English
Reinforcement learning (RL) has shown promising results in active flow control (AFC), yet progress in the field remains difficult to assess as existing studies rely on heterogeneous observation and actuation schemes, numerical setups, and evaluation protocols. Current AFC benchmarks attempt to address these issues but heavily rely on external computational fluid dynamics (CFD) solvers, are not fully differentiable, and provide limited 3D and multi-agent support. To overcome these limitations, we introduce FluidGym, the first standalone, fully differentiable benchmark suite for RL in AFC. Built entirely in PyTorch on top of the GPU-accelerated PICT solver, FluidGym runs in a single Python stack, requires no external CFD software, and provides standardized evaluation protocols. We present baseline results with PPO and SAC and release all environments, datasets, and trained models as public resources. FluidGym enables systematic comparison of control methods, establishes a scalable foundation for future research in learning-based flow control, and is available at https://github.com/safe-autonomous-systems/fluidgym.