Прямое 3D-редактирование через управляемую текстом трансформацию изображения в 3D
Feedforward 3D Editing via Text-Steerable Image-to-3D
December 15, 2025
Авторы: Ziqi Ma, Hongqiao Chen, Yisong Yue, Georgia Gkioxari
cs.AI
Аннотация
Последние достижения в области преобразования изображений в 3D открыли огромные возможности для дизайна, AR/VR и робототехники. Однако для практического использования 3D-ассетов, созданных ИИ, ключевым требованием является возможность их легкого редактирования. Мы представляем прямой метод Steer3D, который добавляет текстовую управляемость моделям image-to-3D, позволяя редактировать созданные 3D-ассеты с помощью языка. Наш подход вдохновлен ControlNet, который мы адаптировали для генерации 3D из изображений, чтобы обеспечить текстовое управление за один прямой проход. Мы создали масштабируемый механизм генерации данных и разработали двухэтапную схему обучения на основе flow-matching и Direct Preference Optimization (DPO). По сравнению с конкурирующими методами, Steer3D точнее следует текстовым инструкциям и лучше сохраняет соответствие исходному 3D-ассету, при этом работая в 2,4–28,5 раз быстрее. Steer3D демонстрирует, что можно добавить новую модальность (текст) для управления генерацией предобученных image-to-3D моделей, используя всего 100 тыс. данных. Сайт проекта: https://glab-caltech.github.io/steer3d/
English
Recent progress in image-to-3D has opened up immense possibilities for design, AR/VR, and robotics. However, to use AI-generated 3D assets in real applications, a critical requirement is the capability to edit them easily. We present a feedforward method, Steer3D, to add text steerability to image-to-3D models, which enables editing of generated 3D assets with language. Our approach is inspired by ControlNet, which we adapt to image-to-3D generation to enable text steering directly in a forward pass. We build a scalable data engine for automatic data generation, and develop a two-stage training recipe based on flow-matching training and Direct Preference Optimization (DPO). Compared to competing methods, Steer3D more faithfully follows the language instruction and maintains better consistency with the original 3D asset, while being 2.4x to 28.5x faster. Steer3D demonstrates that it is possible to add a new modality (text) to steer the generation of pretrained image-to-3D generative models with 100k data. Project website: https://glab-caltech.github.io/steer3d/