PhysicsGen: 생성 모델이 이미지로부터 복잡한 물리적 관계를 예측하도록 학습할 수 있는가?

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

저자: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

초록

생성 학습 모델의 이미지 간 변환 능력은 최근 이미지 분포 간 복잡한 (조정된) 매핑 추정에서 상당한 진전을 이루었습니다. 이미지 인페인팅이나 스타일 전환과 같은 외관 기반 작업들은 오랫동안 연구되어 왔지만, 우리는 물리 시뮬레이션 맥락에서 생성 모델의 잠재력을 탐구하고자 합니다. 30만 개의 이미지 쌍 데이터셋과 세 가지 물리 시뮬레이션 작업에 대한 기준 평가를 제공함으로써, 우리는 다음 연구 질문을 탐구하기 위한 벤치마크를 제안합니다: i) 생성 모델이 입력-출력 이미지 쌍으로부터 복잡한 물리적 관계를 학습할 수 있는가? ii) 미분 방정식 기반 시뮬레이션을 대체함으로써 어떤 속도 향상을 달성할 수 있는가? 다양한 최신 모델들의 기준 평가는 높은 속도 향상의 가능성(ii)을 보여주지만, 이러한 결과는 물리적 정확성(i)에 대한 강력한 한계도 드러냅니다. 이는 물리적 정확성을 강제하기 위한 새로운 방법의 필요성을 강조합니다. 데이터, 기준 모델 및 평가 코드는 http://www.physics-gen.org에서 확인할 수 있습니다.

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.