DSO: Согласование 3D-генераторов с обратной связью от симуляции для обеспечения физической корректности

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

March 28, 2025

Авторы: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Аннотация

Большинство генераторов 3D-объектов сосредоточены на эстетическом качестве, часто игнорируя физические ограничения, необходимые в приложениях. Одним из таких ограничений является требование, чтобы 3D-объект был самоподдерживающимся, то есть оставался устойчивым под действием силы тяжести. Предыдущие подходы к генерации устойчивых 3D-объектов использовали дифференцируемые физические симуляторы для оптимизации геометрии на этапе тестирования, что является медленным, нестабильным и склонным к попаданию в локальные оптимумы. Вдохновленные исследованиями по согласованию генеративных моделей с внешними обратными связями, мы предлагаем Direct Simulation Optimization (DSO) — фреймворк, который использует обратную связь от (недифференцируемого) симулятора для повышения вероятности того, что 3D-генератор напрямую выдает устойчивые 3D-объекты. Мы создаем набор данных 3D-объектов, помеченных оценкой устойчивости, полученной из физического симулятора. Затем мы можем донастроить 3D-генератор, используя оценку устойчивости как метрику согласования, с помощью direct preference optimization (DPO) или direct reward optimization (DRO) — нового целевого показателя, который мы вводим для согласования диффузионных моделей без необходимости парных предпочтений. Наши эксперименты показывают, что донастроенный генератор с прямой передачей, использующий либо DPO, либо DRO, работает значительно быстрее и с большей вероятностью создает устойчивые объекты, чем оптимизация на этапе тестирования. Примечательно, что фреймворк DSO работает даже без наличия эталонных 3D-объектов для обучения, позволяя 3D-генератору самостоятельно улучшаться, автоматически собирая обратную связь от симулятора на свои выходные данные.

English

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.