ORIGEN : Ancrage de l'orientation 3D en génération texte-image sans apprentissage préalable

ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation

March 28, 2025

Auteurs: Yunhong Min, Daehyeon Choi, Kyeongmin Yeo, Jihyun Lee, Minhyuk Sung

cs.AI

Résumé

Nous présentons ORIGEN, la première méthode zero-shot pour l'ancrage d'orientation 3D dans la génération d'images à partir de texte, applicable à plusieurs objets et catégories diverses. Alors que les travaux précédents sur l'ancrage spatial dans la génération d'images se sont principalement concentrés sur le positionnement 2D, ils manquent de contrôle sur l'orientation 3D. Pour remédier à cela, nous proposons une approche d'échantillonnage guidé par récompense utilisant un modèle discriminatif pré-entraîné pour l'estimation de l'orientation 3D et un modèle de flux génératif texte-à-image en une étape. Bien que l'optimisation basée sur l'ascension de gradient soit un choix naturel pour le guidage par récompense, elle peine à maintenir le réalisme des images. À la place, nous adoptons une approche basée sur l'échantillonnage utilisant la dynamique de Langevin, qui étend l'ascension de gradient en injectant simplement du bruit aléatoire—nécessitant seulement une ligne de code supplémentaire. De plus, nous introduisons un redimensionnement temporel adaptatif basé sur la fonction de récompense pour accélérer la convergence. Nos expériences montrent qu'ORIGEN surpasse à la fois les méthodes basées sur l'entraînement et les méthodes de guidage au moment du test, selon des métriques quantitatives et des études utilisateurs.

English

We introduce ORIGEN, the first zero-shot method for 3D orientation grounding in text-to-image generation across multiple objects and diverse categories. While previous work on spatial grounding in image generation has mainly focused on 2D positioning, it lacks control over 3D orientation. To address this, we propose a reward-guided sampling approach using a pretrained discriminative model for 3D orientation estimation and a one-step text-to-image generative flow model. While gradient-ascent-based optimization is a natural choice for reward-based guidance, it struggles to maintain image realism. Instead, we adopt a sampling-based approach using Langevin dynamics, which extends gradient ascent by simply injecting random noise--requiring just a single additional line of code. Additionally, we introduce adaptive time rescaling based on the reward function to accelerate convergence. Our experiments show that ORIGEN outperforms both training-based and test-time guidance methods across quantitative metrics and user studies.