Edição 3D Feedforward via Texto-Direcionável de Imagem para 3D
Feedforward 3D Editing via Text-Steerable Image-to-3D
December 15, 2025
Autores: Ziqi Ma, Hongqiao Chen, Yisong Yue, Georgia Gkioxari
cs.AI
Resumo
Os recentes avanços na conversão de imagem-para-3D abriram possibilidades imensas para design, RA/RV e robótica. No entanto, para utilizar recursos 3D gerados por IA em aplicações reais, uma exigência crítica é a capacidade de editá-los facilmente. Apresentamos um método de propagação direta, o Steer3D, para adicionar capacidade de direcionamento por texto a modelos de imagem-para-3D, o que permite editar recursos 3D gerados com linguagem. Nossa abordagem é inspirada no ControlNet, que adaptamos para a geração imagem-para-3D, permitindo o direcionamento por texto diretamente em um passe direto. Construímos um mecanismo de dados escalável para geração automática de dados e desenvolvemos uma receita de treinamento em dois estágios baseada no treinamento por correspondência de fluxo (flow-matching) e na Otimização Direta de Preferência (DPO). Em comparação com métodos concorrentes, o Steer3D segue as instruções de linguagem com maior fidelidade e mantém melhor consistência com o recurso 3D original, sendo 2,4x a 28,5x mais rápido. O Steer3D demonstra que é possível adicionar uma nova modalidade (texto) para direcionar a geração de modelos generativos de imagem-para-3D pré-treinados com 100 mil dados. Site do projeto: https://glab-caltech.github.io/steer3d/
English
Recent progress in image-to-3D has opened up immense possibilities for design, AR/VR, and robotics. However, to use AI-generated 3D assets in real applications, a critical requirement is the capability to edit them easily. We present a feedforward method, Steer3D, to add text steerability to image-to-3D models, which enables editing of generated 3D assets with language. Our approach is inspired by ControlNet, which we adapt to image-to-3D generation to enable text steering directly in a forward pass. We build a scalable data engine for automatic data generation, and develop a two-stage training recipe based on flow-matching training and Direct Preference Optimization (DPO). Compared to competing methods, Steer3D more faithfully follows the language instruction and maintains better consistency with the original 3D asset, while being 2.4x to 28.5x faster. Steer3D demonstrates that it is possible to add a new modality (text) to steer the generation of pretrained image-to-3D generative models with 100k data. Project website: https://glab-caltech.github.io/steer3d/