ORIGEN: Нулевое обучение для определения 3D-ориентации в генерации изображений по тексту

ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation

March 28, 2025

Авторы: Yunhong Min, Daehyeon Choi, Kyeongmin Yeo, Jihyun Lee, Minhyuk Sung

cs.AI

Аннотация

Мы представляем ORIGEN — первый метод для нулевого сценария (zero-shot) в задаче определения 3D-ориентации при генерации изображений по текстовому описанию для множества объектов и разнообразных категорий. В то время как предыдущие работы по пространственному закреплению в генерации изображений в основном сосредотачивались на 2D-позиционировании, они не обеспечивали контроля над 3D-ориентацией. Для решения этой проблемы мы предлагаем подход с использованием выборки, управляемой наградой, на основе предобученной дискриминативной модели для оценки 3D-ориентации и одношаговой модели генерации изображений по тексту. Хотя оптимизация на основе градиентного подъема является естественным выбором для управления с использованием наград, она сталкивается с трудностями в сохранении реалистичности изображений. Вместо этого мы применяем подход на основе выборки с использованием динамики Ланжевена, которая расширяет градиентный подъем путем простого добавления случайного шума — что требует всего одной дополнительной строки кода. Кроме того, мы вводим адаптивное масштабирование времени на основе функции награды для ускорения сходимости. Наши эксперименты показывают, что ORIGEN превосходит как методы, основанные на обучении, так и методы управления на этапе тестирования, по количественным метрикам и результатам пользовательских исследований.

English

We introduce ORIGEN, the first zero-shot method for 3D orientation grounding in text-to-image generation across multiple objects and diverse categories. While previous work on spatial grounding in image generation has mainly focused on 2D positioning, it lacks control over 3D orientation. To address this, we propose a reward-guided sampling approach using a pretrained discriminative model for 3D orientation estimation and a one-step text-to-image generative flow model. While gradient-ascent-based optimization is a natural choice for reward-based guidance, it struggles to maintain image realism. Instead, we adopt a sampling-based approach using Langevin dynamics, which extends gradient ascent by simply injecting random noise--requiring just a single additional line of code. Additionally, we introduce adaptive time rescaling based on the reward function to accelerate convergence. Our experiments show that ORIGEN outperforms both training-based and test-time guidance methods across quantitative metrics and user studies.