Editing Feedforward 3D tramite Text-to-3D guidato dal testo

Feedforward 3D Editing via Text-Steerable Image-to-3D

December 15, 2025

Autori: Ziqi Ma, Hongqiao Chen, Yisong Yue, Georgia Gkioxari

cs.AI

Abstract

I recenti progressi nella generazione di immagini-3D hanno aperto immense possibilità per il design, la realtà aumentata/virtuale (AR/VR) e la robotica. Tuttavia, per utilizzare gli asset 3D generati dall'IA in applicazioni reali, un requisito fondamentale è la capacità di modificarli facilmente. Presentiamo un metodo feedforward, Steer3D, per aggiungere controllabilità testuale ai modelli di generazione immagini-3D, che consente la modifica degli asset 3D generati tramite linguaggio. Il nostro approccio è ispirato a ControlNet, che adattiamo alla generazione immagini-3D per abilitare il controllo testuale direttamente in un passaggio in avanti. Costruiamo un motore di dati scalabile per la generazione automatica di dati e sviluppiamo una ricetta di addestramento in due stadi basata sull'addestramento per flussi (flow-matching) e sull'Optimizzazione Diretta delle Preferenze (Direct Preference Optimization - DPO). Rispetto ai metodi concorrenti, Steer3D segue più fedelmente le istruzioni linguistiche e mantiene una migliore coerenza con l'asset 3D originale, risultando da 2,4x a 28,5x più veloce. Steer3D dimostra che è possibile aggiungere una nuova modalità (testo) per controllare la generazione di modelli generativi immagini-3D pre-addestrati con 100k dati. Sito web del progetto: https://glab-caltech.github.io/steer3d/

English

Recent progress in image-to-3D has opened up immense possibilities for design, AR/VR, and robotics. However, to use AI-generated 3D assets in real applications, a critical requirement is the capability to edit them easily. We present a feedforward method, Steer3D, to add text steerability to image-to-3D models, which enables editing of generated 3D assets with language. Our approach is inspired by ControlNet, which we adapt to image-to-3D generation to enable text steering directly in a forward pass. We build a scalable data engine for automatic data generation, and develop a two-stage training recipe based on flow-matching training and Direct Preference Optimization (DPO). Compared to competing methods, Steer3D more faithfully follows the language instruction and maintains better consistency with the original 3D asset, while being 2.4x to 28.5x faster. Steer3D demonstrates that it is possible to add a new modality (text) to steer the generation of pretrained image-to-3D generative models with 100k data. Project website: https://glab-caltech.github.io/steer3d/