DSO: Het afstemmen van 3D-generatoren met simulatiefeedback voor fysieke correctheid

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

March 28, 2025

Auteurs: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Samenvatting

De meeste 3D-objectgeneratoren richten zich op esthetische kwaliteit en negeren vaak de fysieke beperkingen die nodig zijn in toepassingen. Een dergelijke beperking is dat het 3D-object zelfondersteunend moet zijn, d.w.z. in balans blijft onder invloed van zwaartekracht. Eerdere benaderingen voor het genereren van stabiele 3D-objecten maakten gebruik van differentieerbare fysicasimulators om de geometrie tijdens de testfase te optimaliseren, wat traag, instabiel en gevoelig is voor lokale optima. Geïnspireerd door de literatuur over het afstemmen van generatieve modellen op externe feedback, stellen we Direct Simulation Optimization (DSO) voor, een raamwerk om de feedback van een (niet-differentieerbare) simulator te gebruiken om de kans te vergroten dat de 3D-generator direct stabiele 3D-objecten produceert. We construeren een dataset van 3D-objecten die zijn gelabeld met een stabiliteitsscore die is verkregen uit de fysicasimulator. Vervolgens kunnen we de 3D-generator finetunen met behulp van de stabiliteitsscore als afstemmingsmetriek, via direct preference optimization (DPO) of direct reward optimization (DRO), een nieuw doel dat we introduceren om diffusiemodellen af te stemmen zonder gepaarde voorkeuren te vereisen. Onze experimenten tonen aan dat de gefinetunde feed-forward generator, met behulp van het DPO- of DRO-doel, veel sneller en waarschijnlijker stabiele objecten produceert dan optimalisatie tijdens de testfase. Opmerkelijk is dat het DSO-raamwerk zelfs werkt zonder enige grondwaarheid van 3D-objecten voor training, waardoor de 3D-generator zichzelf kan verbeteren door automatisch simulatiefeedback te verzamelen over zijn eigen uitvoer.

English

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.