ORIGEN: Zero-Shot 3D-Orientierungsverankerung in der Text-zu-Bild-Generierung

ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation

March 28, 2025

Autoren: Yunhong Min, Daehyeon Choi, Kyeongmin Yeo, Jihyun Lee, Minhyuk Sung

cs.AI

Zusammenfassung

Wir stellen ORIGEN vor, die erste Zero-Shot-Methode zur 3D-Orientierungsverankerung in der Text-zu-Bild-Generierung über mehrere Objekte und diverse Kategorien hinweg. Während sich frühere Arbeiten zur räumlichen Verankerung in der Bildgenerierung hauptsächlich auf 2D-Positionierung konzentrierten, fehlt es ihnen an Kontrolle über die 3D-Orientierung. Um dies zu adressieren, schlagen wir einen belohnungsgesteuerten Sampling-Ansatz vor, der ein vortrainiertes diskriminatives Modell zur 3D-Orientierungsschätzung und ein Ein-Schritt-Text-zu-Bild-Generierungsflussmodell verwendet. Obwohl gradientenbasiertes Optimieren eine naheliegende Wahl für belohnungsbasierte Steuerung ist, kämpft es damit, die Bildrealität zu bewahren. Stattdessen verwenden wir einen samplingbasierten Ansatz mit Langevin-Dynamik, der den Gradientenanstieg durch einfaches Injizieren von zufälligem Rauschen erweitert – was nur eine einzige zusätzliche Codezeile erfordert. Zusätzlich führen wir eine adaptive Zeitskalierung basierend auf der Belohnungsfunktion ein, um die Konvergenz zu beschleunigen. Unsere Experimente zeigen, dass ORIGEN sowohl trainierungsbasierte als auch testzeitgesteuerte Methoden in quantitativen Metriken und Benutzerstudien übertrifft.

English

We introduce ORIGEN, the first zero-shot method for 3D orientation grounding in text-to-image generation across multiple objects and diverse categories. While previous work on spatial grounding in image generation has mainly focused on 2D positioning, it lacks control over 3D orientation. To address this, we propose a reward-guided sampling approach using a pretrained discriminative model for 3D orientation estimation and a one-step text-to-image generative flow model. While gradient-ascent-based optimization is a natural choice for reward-based guidance, it struggles to maintain image realism. Instead, we adopt a sampling-based approach using Langevin dynamics, which extends gradient ascent by simply injecting random noise--requiring just a single additional line of code. Additionally, we introduce adaptive time rescaling based on the reward function to accelerate convergence. Our experiments show that ORIGEN outperforms both training-based and test-time guidance methods across quantitative metrics and user studies.