DSO: Alinhando Geradores 3D com Feedback de Simulação para Solidez Física

DSO: Aligning 3D Generators with Simulation Feedback for Physical Soundness

March 28, 2025

Autores: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

cs.AI

Resumo

A maioria dos geradores de objetos 3D focam na qualidade estética, frequentemente negligenciando as restrições físicas necessárias em aplicações práticas. Uma dessas restrições é que o objeto 3D deve ser autossustentável, ou seja, permanecer equilibrado sob a ação da gravidade. Abordagens anteriores para gerar objetos 3D estáveis utilizavam simuladores físicos diferenciáveis para otimizar a geometria em tempo de teste, o que é lento, instável e propenso a ótimos locais. Inspirados pela literatura sobre alinhamento de modelos generativos a feedback externo, propomos a Otimização por Simulação Direta (Direct Simulation Optimization - DSO), uma estrutura para utilizar o feedback de um simulador (não diferenciável) para aumentar a probabilidade de que o gerador 3D produza objetos estáveis diretamente. Construímos um conjunto de dados de objetos 3D rotulados com uma pontuação de estabilidade obtida do simulador físico. Podemos então ajustar o gerador 3D usando a pontuação de estabilidade como métrica de alinhamento, por meio da otimização de preferência direta (Direct Preference Optimization - DPO) ou da otimização de recompensa direta (Direct Reward Optimization - DRO), um novo objetivo que introduzimos para alinhar modelos de difusão sem a necessidade de preferências pareadas. Nossos experimentos mostram que o gerador ajustado, utilizando tanto o objetivo DPO quanto DRO, é muito mais rápido e tem maior probabilidade de produzir objetos estáveis do que a otimização em tempo de teste. Notavelmente, a estrutura DSO funciona mesmo sem objetos 3D de referência para treinamento, permitindo que o gerador 3D se aprimore automaticamente ao coletar feedback de simulação sobre suas próprias saídas.

English

Most 3D object generators focus on aesthetic quality, often neglecting physical constraints necessary in applications. One such constraint is that the 3D object should be self-supporting, i.e., remains balanced under gravity. Prior approaches to generating stable 3D objects used differentiable physics simulators to optimize geometry at test-time, which is slow, unstable, and prone to local optima. Inspired by the literature on aligning generative models to external feedback, we propose Direct Simulation Optimization (DSO), a framework to use the feedback from a (non-differentiable) simulator to increase the likelihood that the 3D generator outputs stable 3D objects directly. We construct a dataset of 3D objects labeled with a stability score obtained from the physics simulator. We can then fine-tune the 3D generator using the stability score as the alignment metric, via direct preference optimization (DPO) or direct reward optimization (DRO), a novel objective, which we introduce, to align diffusion models without requiring pairwise preferences. Our experiments show that the fine-tuned feed-forward generator, using either DPO or DRO objective, is much faster and more likely to produce stable objects than test-time optimization. Notably, the DSO framework works even without any ground-truth 3D objects for training, allowing the 3D generator to self-improve by automatically collecting simulation feedback on its own outputs.