DSO: Alineando Generadores 3D con Retroalimentación de Simulación para Solidez Física

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

March 28, 2025

Autores: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Resumen

La mayoría de los generadores de objetos 3D se centran en la calidad estética, a menudo descuidando las restricciones físicas necesarias en aplicaciones prácticas. Una de estas restricciones es que el objeto 3D debe ser autosoportable, es decir, debe mantenerse equilibrado bajo la gravedad. Enfoques previos para generar objetos 3D estables utilizaban simuladores físicos diferenciables para optimizar la geometría en tiempo de prueba, lo cual es lento, inestable y propenso a óptimos locales. Inspirados por la literatura sobre la alineación de modelos generativos con retroalimentación externa, proponemos Direct Simulation Optimization (DSO), un marco para utilizar la retroalimentación de un simulador (no diferenciable) para aumentar la probabilidad de que el generador 3D produzca objetos estables directamente. Construimos un conjunto de datos de objetos 3D etiquetados con una puntuación de estabilidad obtenida del simulador físico. Luego, podemos ajustar el generador 3D utilizando la puntuación de estabilidad como métrica de alineación, mediante direct preference optimization (DPO) o direct reward optimization (DRO), un objetivo novedoso que introducimos para alinear modelos de difusión sin requerir preferencias por pares. Nuestros experimentos muestran que el generador ajustado, utilizando ya sea el objetivo DPO o DRO, es mucho más rápido y tiene mayor probabilidad de producir objetos estables que la optimización en tiempo de prueba. Notablemente, el marco DSO funciona incluso sin objetos 3D de referencia para el entrenamiento, permitiendo que el generador 3D se auto-mejore al recopilar automáticamente retroalimentación de simulación sobre sus propias salidas.

English

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.