ORIGEN: Zero-Shot 3D Oriëntatiebepaling in Tekst-naar-Beeld Generatie

ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation

March 28, 2025

Auteurs: Yunhong Min, Daehyeon Choi, Kyeongmin Yeo, Jihyun Lee, Minhyuk Sung

cs.AI

Samenvatting

We introduceren ORIGEN, de eerste zero-shot methode voor 3D oriëntatiebepaling in tekst-naar-beeld generatie voor meerdere objecten en diverse categorieën. Terwijl eerder werk over ruimtelijke positionering in beeldgeneratie zich voornamelijk richtte op 2D-positionering, ontbreekt het aan controle over 3D-oriëntatie. Om dit aan te pakken, stellen we een beloningsgeleide steekproefmethode voor die gebruikmaakt van een vooraf getraind discriminerend model voor 3D-oriëntatieschatting en een eenstaps tekst-naar-beeld generatief stroommodel. Hoewel optimalisatie op basis van gradiëntstijging een natuurlijke keuze is voor beloningsgeleide begeleiding, heeft het moeite om de realistische weergave van beelden te behouden. In plaats daarvan hanteren we een steekproefgebaseerde aanpak met behulp van Langevin-dynamica, die gradiëntstijging uitbreidt door simpelweg willekeurige ruis toe te voegen—wat slechts één extra regel code vereist. Daarnaast introduceren we adaptieve tijdsherschaling op basis van de beloningsfunctie om de convergentie te versnellen. Onze experimenten tonen aan dat ORIGEN zowel trainingsgebaseerde als testtijd-begeleidingsmethoden overtreft op basis van kwantitatieve metrieken en gebruikersstudies.

English

We introduce ORIGEN, the first zero-shot method for 3D orientation grounding in text-to-image generation across multiple objects and diverse categories. While previous work on spatial grounding in image generation has mainly focused on 2D positioning, it lacks control over 3D orientation. To address this, we propose a reward-guided sampling approach using a pretrained discriminative model for 3D orientation estimation and a one-step text-to-image generative flow model. While gradient-ascent-based optimization is a natural choice for reward-based guidance, it struggles to maintain image realism. Instead, we adopt a sampling-based approach using Langevin dynamics, which extends gradient ascent by simply injecting random noise--requiring just a single additional line of code. Additionally, we introduce adaptive time rescaling based on the reward function to accelerate convergence. Our experiments show that ORIGEN outperforms both training-based and test-time guidance methods across quantitative metrics and user studies.