PhysicsGen: Могут ли генеративные модели обучаться на изображениях для прогнозирования сложных физических взаимосвязей?

PhysicsGen: Can Generative Models Learn from Images to Predict Complex Physical Relations?

March 7, 2025

Авторы: Martin Spitznagel, Jan Vaillant, Janis Keuper

cs.AI

Аннотация

Способности моделей генеративного обучения к преобразованию изображений в изображения недавно достигли значительного прогресса в оценке сложных (управляемых) отображений между распределениями изображений. В то время как задачи, основанные на внешнем виде, такие как восстановление изображений или перенос стиля, были тщательно изучены, мы предлагаем исследовать потенциал генеративных моделей в контексте физических симуляций. Предоставляя набор данных из 300 тысяч пар изображений и базовые оценки для трех различных задач физического моделирования, мы предлагаем эталонный тест для изучения следующих исследовательских вопросов: i) способны ли генеративные модели изучать сложные физические отношения на основе пар входных и выходных изображений? ii) какие ускорения могут быть достигнуты за счет замены симуляций, основанных на дифференциальных уравнениях? Хотя базовые оценки различных современных моделей показывают потенциал для значительного ускорения (ii), эти результаты также демонстрируют серьезные ограничения в отношении физической корректности (i). Это подчеркивает необходимость разработки новых методов для обеспечения физической корректности. Данные, базовые модели и код для оценки доступны по адресу http://www.physics-gen.org.

English

The image-to-image translation abilities of generative learning models have recently made significant progress in the estimation of complex (steered) mappings between image distributions. While appearance based tasks like image in-painting or style transfer have been studied at length, we propose to investigate the potential of generative models in the context of physical simulations. Providing a dataset of 300k image-pairs and baseline evaluations for three different physical simulation tasks, we propose a benchmark to investigate the following research questions: i) are generative models able to learn complex physical relations from input-output image pairs? ii) what speedups can be achieved by replacing differential equation based simulations? While baseline evaluations of different current models show the potential for high speedups (ii), these results also show strong limitations toward the physical correctness (i). This underlines the need for new methods to enforce physical correctness. Data, baseline models and evaluation code http://www.physics-gen.org.