ORIGEN: Fundamentación de Orientación 3D en Cero Disparos para la Generación de Imágenes a partir de Texto

ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation

March 28, 2025

Autores: Yunhong Min, Daehyeon Choi, Kyeongmin Yeo, Jihyun Lee, Minhyuk Sung

cs.AI

Resumen

Presentamos ORIGEN, el primer método de anclaje de orientación 3D en generación de imágenes a partir de texto que funciona en modo zero-shot para múltiples objetos y diversas categorías. Mientras que trabajos previos sobre anclaje espacial en generación de imágenes se han centrado principalmente en el posicionamiento 2D, carecen de control sobre la orientación 3D. Para abordar esto, proponemos un enfoque de muestreo guiado por recompensas utilizando un modelo discriminativo preentrenado para la estimación de orientación 3D y un modelo de flujo generativo de texto a imagen en un solo paso. Aunque la optimización basada en ascenso de gradiente es una elección natural para la guía basada en recompensas, tiene dificultades para mantener el realismo de la imagen. En su lugar, adoptamos un enfoque basado en muestreo utilizando dinámica de Langevin, que extiende el ascenso de gradiente simplemente inyectando ruido aleatorio—requiriendo solo una línea adicional de código. Además, introducimos un reescalado de tiempo adaptativo basado en la función de recompensa para acelerar la convergencia. Nuestros experimentos muestran que ORIGEN supera tanto a métodos basados en entrenamiento como a métodos de guía en tiempo de prueba en métricas cuantitativas y estudios de usuario.

English

We introduce ORIGEN, the first zero-shot method for 3D orientation grounding in text-to-image generation across multiple objects and diverse categories. While previous work on spatial grounding in image generation has mainly focused on 2D positioning, it lacks control over 3D orientation. To address this, we propose a reward-guided sampling approach using a pretrained discriminative model for 3D orientation estimation and a one-step text-to-image generative flow model. While gradient-ascent-based optimization is a natural choice for reward-based guidance, it struggles to maintain image realism. Instead, we adopt a sampling-based approach using Langevin dynamics, which extends gradient ascent by simply injecting random noise--requiring just a single additional line of code. Additionally, we introduce adaptive time rescaling based on the reward function to accelerate convergence. Our experiments show that ORIGEN outperforms both training-based and test-time guidance methods across quantitative metrics and user studies.