DSO : Alignement des générateurs 3D avec les retours de simulation pour une robustesse physique

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

March 28, 2025

Auteurs: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Résumé

La plupart des générateurs d'objets 3D se concentrent sur la qualité esthétique, négligeant souvent les contraintes physiques nécessaires dans les applications. Une telle contrainte est que l'objet 3D doit être auto-portant, c'est-à-dire qu'il reste équilibré sous l'effet de la gravité. Les approches précédentes pour générer des objets 3D stables utilisaient des simulateurs physiques différentiables pour optimiser la géométrie au moment du test, ce qui est lent, instable et sujet à des optima locaux. Inspirés par la littérature sur l'alignement des modèles génératifs à des retours externes, nous proposons l'Optimisation par Simulation Directe (Direct Simulation Optimization, DSO), un cadre pour utiliser les retours d'un simulateur (non-différentiable) afin d'augmenter la probabilité que le générateur 3D produise directement des objets 3D stables. Nous construisons un ensemble de données d'objets 3D étiquetés avec un score de stabilité obtenu à partir du simulateur physique. Nous pouvons ensuite affiner le générateur 3D en utilisant le score de stabilité comme métrique d'alignement, via l'optimisation de préférences directes (Direct Preference Optimization, DPO) ou l'optimisation de récompenses directes (Direct Reward Optimization, DRO), un nouvel objectif que nous introduisons pour aligner les modèles de diffusion sans nécessiter de préférences par paires. Nos expériences montrent que le générateur affiné en mode feed-forward, utilisant soit l'objectif DPO soit DRO, est beaucoup plus rapide et plus susceptible de produire des objets stables que l'optimisation au moment du test. Notamment, le cadre DSO fonctionne même sans aucun objet 3D de référence pour l'entraînement, permettant au générateur 3D de s'améliorer automatiquement en collectant les retours de simulation sur ses propres sorties.

English

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.