3D-bewerking via feedforward met tekstgestuurde beeld-naar-3D-modellen
Feedforward 3D Editing via Text-Steerable Image-to-3D
December 15, 2025
Auteurs: Ziqi Ma, Hongqiao Chen, Yisong Yue, Georgia Gkioxari
cs.AI
Samenvatting
Recente vooruitgang in beeld-naar-3D heeft immense mogelijkheden geopend voor design, AR/VR en robotica. Om AI-gegenereerde 3D-assets echter in praktische toepassingen te kunnen gebruiken, is het cruciaal dat ze eenvoudig bewerkt kunnen worden. Wij presenteren een feedforward-methode, Steer3D, om tekststuurbaarheid toe te voegen aan beeld-naar-3D-modellen, waardoor gegenereerde 3D-assets met taal bewerkt kunnen worden. Onze aanpak is geïnspireerd op ControlNet, dat we aanpassen voor beeld-naar-3D-generatie om directe tekststuring in een forward pass mogelijk te maken. We bouwen een schaalbare data-engine voor automatische datageneratie en ontwikkelen een tweefasig trainingsrecept gebaseerd op flow-matching training en Direct Preference Optimization (DPO). In vergelijking met concurrerende methodes volgt Steer3D taalinstellingen nauwkeuriger en behoudt het een betere consistentie met het originele 3D-asset, terwijl het 2,4x tot 28,5x sneller is. Steer3D toont aan dat het mogelijk is om een nieuwe modaliteit (tekst) toe te voegen om de generatie van voorgetrainde beeld-naar-3D-generatieve modellen te sturen met 100k data. Projectwebsite: https://glab-caltech.github.io/steer3d/
English
Recent progress in image-to-3D has opened up immense possibilities for design, AR/VR, and robotics. However, to use AI-generated 3D assets in real applications, a critical requirement is the capability to edit them easily. We present a feedforward method, Steer3D, to add text steerability to image-to-3D models, which enables editing of generated 3D assets with language. Our approach is inspired by ControlNet, which we adapt to image-to-3D generation to enable text steering directly in a forward pass. We build a scalable data engine for automatic data generation, and develop a two-stage training recipe based on flow-matching training and Direct Preference Optimization (DPO). Compared to competing methods, Steer3D more faithfully follows the language instruction and maintains better consistency with the original 3D asset, while being 2.4x to 28.5x faster. Steer3D demonstrates that it is possible to add a new modality (text) to steer the generation of pretrained image-to-3D generative models with 100k data. Project website: https://glab-caltech.github.io/steer3d/