Feedforward-3D-Bearbeitung mittels textgesteuerter Bild-zu-3D-Übertragung

Feedforward 3D Editing via Text-Steerable Image-to-3D

December 15, 2025

papers.authors: Ziqi Ma, Hongqiao Chen, Yisong Yue, Georgia Gkioxari

cs.AI

papers.abstract

Jüngste Fortschritte im Bereich Image-to-3D haben immense Möglichkeiten für Design, AR/VR und Robotik eröffnet. Um KI-generierte 3D-Assets jedoch in realen Anwendungen nutzen zu können, ist eine entscheidende Voraussetzung die Möglichkeit, sie einfach zu bearbeiten. Wir stellen eine Vorwärtsmethode namens Steer3D vor, um Bild-zu-3D-Modellen Textsteuerbarkeit hinzuzufügen, was die Bearbeitung generierter 3D-Assets mit Sprache ermöglicht. Unser Ansatz ist von ControlNet inspiriert, das wir für die Bild-zu-3D-Generierung anpassen, um Textsteuerung direkt in einem Vorwärtsdurchlauf zu ermöglichen. Wir entwickeln eine skalierbare Datenengine für die automatische Datengenerierung und ein zweistufiges Trainingsverfahren basierend auf Flow-Matching-Training und Direct Preference Optimization (DPO). Im Vergleich zu konkurrierenden Methoden folgt Steer3D Sprachbefehlen treuer und bewahrt eine bessere Konsistenz mit dem ursprünglichen 3D-Asset, ist dabei aber 2,4- bis 28,5-mal schneller. Steer3D zeigt, dass es möglich ist, vortrainierten Bild-zu-3D-Generativmodellen mit 100.000 Daten eine neue Modalität (Text) hinzuzufügen, um deren Generierung zu steuern. Projektwebsite: https://glab-caltech.github.io/steer3d/

English

Recent progress in image-to-3D has opened up immense possibilities for design, AR/VR, and robotics. However, to use AI-generated 3D assets in real applications, a critical requirement is the capability to edit them easily. We present a feedforward method, Steer3D, to add text steerability to image-to-3D models, which enables editing of generated 3D assets with language. Our approach is inspired by ControlNet, which we adapt to image-to-3D generation to enable text steering directly in a forward pass. We build a scalable data engine for automatic data generation, and develop a two-stage training recipe based on flow-matching training and Direct Preference Optimization (DPO). Compared to competing methods, Steer3D more faithfully follows the language instruction and maintains better consistency with the original 3D asset, while being 2.4x to 28.5x faster. Steer3D demonstrates that it is possible to add a new modality (text) to steer the generation of pretrained image-to-3D generative models with 100k data. Project website: https://glab-caltech.github.io/steer3d/