DSO: Ausrichtung von 3D-Generatoren mit Simulationsfeedback für physikalische Plausibilität

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

March 28, 2025

Autoren: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Zusammenfassung

Die meisten 3D-Objekterzeuger konzentrieren sich auf die ästhetische Qualität und vernachlässigen oft physikalische Einschränkungen, die in Anwendungen notwendig sind. Eine solche Einschränkung ist, dass das 3D-Objekt selbsttragend sein sollte, d.h. unter dem Einfluss der Schwerkraft im Gleichgewicht bleibt. Bisherige Ansätze zur Erzeugung stabiler 3D-Objekte verwendeten differenzierbare Physiksimulatoren, um die Geometrie zur Testzeit zu optimieren, was langsam, instabil und anfällig für lokale Optima ist. Inspiriert von der Literatur zur Ausrichtung generativer Modelle an externem Feedback, schlagen wir Direct Simulation Optimization (DSO) vor, ein Framework, das das Feedback eines (nicht-differenzierbaren) Simulators nutzt, um die Wahrscheinlichkeit zu erhöhen, dass der 3D-Generator direkt stabile 3D-Objekte ausgibt. Wir erstellen einen Datensatz von 3D-Objekten, die mit einem Stabilitätswert versehen sind, der aus dem Physiksimulator gewonnen wird. Anschließend können wir den 3D-Generator unter Verwendung des Stabilitätswerts als Ausrichtungsmetrik feinabstimmen, entweder über Direct Preference Optimization (DPO) oder Direct Reward Optimization (DRO), ein neuartiges Ziel, das wir einführen, um Diffusionsmodelle auszurichten, ohne paarweise Präferenzen zu benötigen. Unsere Experimente zeigen, dass der feinabgestimmte Feedforward-Generator, der entweder das DPO- oder DRO-Ziel verwendet, viel schneller und mit höherer Wahrscheinlichkeit stabile Objekte erzeugt als die Optimierung zur Testzeit. Bemerkenswerterweise funktioniert das DSO-Framework sogar ohne jegliche Ground-Truth-3D-Objekte für das Training, sodass der 3D-Generator sich selbst verbessern kann, indem er automatisch Simulationsfeedback zu seinen eigenen Ausgaben sammelt.

English

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.