PhysicsGen: 生成モデルは画像から複雑な物理的関係を予測することを学習できるか？

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

著者: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

要旨

生成学習モデルの画像間変換能力は、最近、画像分布間の複雑な（制御された）マッピングの推定において大きな進展を遂げています。画像修復やスタイル転送のような外観ベースのタスクは長く研究されてきましたが、我々は物理シミュレーションの文脈における生成モデルの可能性を探ることを提案します。30万枚の画像ペアのデータセットと3つの異なる物理シミュレーションタスクに対するベースライン評価を提供し、以下の研究課題を調査するためのベンチマークを提案します：i) 生成モデルは入力-出力画像ペアから複雑な物理的関係を学習できるか？ ii) 微分方程式ベースのシミュレーションを置き換えることでどの程度の高速化が達成できるか？異なる最新モデルのベースライン評価は、高い高速化の可能性（ii）を示す一方で、物理的正しさ（i）に対する強い制限も明らかにしています。これは、物理的正しさを強制するための新しい手法の必要性を強調しています。データ、ベースラインモデル、評価コードはhttp://www.physics-gen.orgで公開されています。

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.