ORIGEN: Fundamentação de Orientação 3D em Geração de Texto para Imagem com Aprendizado Zero

ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation

March 28, 2025

Autores: Yunhong Min, Daehyeon Choi, Kyeongmin Yeo, Jihyun Lee, Minhyuk Sung

cs.AI

Resumo

Apresentamos o ORIGEN, o primeiro método de ancoragem de orientação 3D em geração de texto para imagem em cenários de zero-shot, abrangendo múltiplos objetos e diversas categorias. Enquanto trabalhos anteriores sobre ancoragem espacial na geração de imagens focaram principalmente no posicionamento 2D, eles carecem de controle sobre a orientação 3D. Para resolver isso, propomos uma abordagem de amostragem guiada por recompensa, utilizando um modelo discriminativo pré-treinado para estimação de orientação 3D e um modelo de fluxo gerativo de texto para imagem em uma única etapa. Embora a otimização baseada em gradiente ascendente seja uma escolha natural para orientação baseada em recompensa, ela enfrenta dificuldades em manter o realismo da imagem. Em vez disso, adotamos uma abordagem baseada em amostragem usando dinâmica de Langevin, que estende o gradiente ascendente simplesmente injetando ruído aleatório—requerendo apenas uma única linha adicional de código. Além disso, introduzimos o redimensionamento adaptativo de tempo com base na função de recompensa para acelerar a convergência. Nossos experimentos mostram que o ORIGEN supera tanto métodos baseados em treinamento quanto métodos de orientação em tempo de teste, tanto em métricas quantitativas quanto em estudos com usuários.

English

We introduce ORIGEN, the first zero-shot method for 3D orientation grounding in text-to-image generation across multiple objects and diverse categories. While previous work on spatial grounding in image generation has mainly focused on 2D positioning, it lacks control over 3D orientation. To address this, we propose a reward-guided sampling approach using a pretrained discriminative model for 3D orientation estimation and a one-step text-to-image generative flow model. While gradient-ascent-based optimization is a natural choice for reward-based guidance, it struggles to maintain image realism. Instead, we adopt a sampling-based approach using Langevin dynamics, which extends gradient ascent by simply injecting random noise--requiring just a single additional line of code. Additionally, we introduce adaptive time rescaling based on the reward function to accelerate convergence. Our experiments show that ORIGEN outperforms both training-based and test-time guidance methods across quantitative metrics and user studies.