ORIGEN: 텍스트-이미지 생성에서의 제로샷 3D 방향 기반 설정

ORIGEN: Zero-Shot 3D Orientation Grounding in Text-to-Image Generation

March 28, 2025

저자: Yunhong Min, Daehyeon Choi, Kyeongmin Yeo, Jihyun Lee, Minhyuk Sung

cs.AI

초록

우리는 다중 객체와 다양한 카테고리에 걸쳐 텍스트-이미지 생성에서 3D 방향 기반을 위한 최초의 제로샷 방법인 ORIGEN을 소개합니다. 이미지 생성에서 공간 기반에 대한 기존 연구는 주로 2D 위치 지정에 초점을 맞추었으며, 3D 방향에 대한 제어가 부족했습니다. 이를 해결하기 위해, 우리는 3D 방향 추정을 위한 사전 학습된 판별 모델과 단일 단계 텍스트-이미지 생성 흐름 모델을 사용한 보안-가이드 샘플링 접근법을 제안합니다. 경사 상승 기반 최적화는 보안 기반 가이드를 위한 자연스러운 선택이지만, 이미지의 현실성을 유지하는 데 어려움을 겪습니다. 대신, 우리는 단순히 무작위 노이즈를 주입하는 방식으로 경사 상승을 확장하는 Langevin dynamics를 사용한 샘플링 기반 접근법을 채택했습니다. 이는 단일 추가 코드 라인만 필요로 합니다. 또한, 우리는 수렴 속도를 가속화하기 위해 보안 함수를 기반으로 한 적응형 시간 재조정을 도입했습니다. 실험 결과, ORIGEN은 양적 지표와 사용자 연구 모두에서 학습 기반 및 테스트 시간 가이드 방법을 능가하는 성능을 보여주었습니다.

English

We introduce ORIGEN, the first zero-shot method for 3D orientation grounding in text-to-image generation across multiple objects and diverse categories. While previous work on spatial grounding in image generation has mainly focused on 2D positioning, it lacks control over 3D orientation. To address this, we propose a reward-guided sampling approach using a pretrained discriminative model for 3D orientation estimation and a one-step text-to-image generative flow model. While gradient-ascent-based optimization is a natural choice for reward-based guidance, it struggles to maintain image realism. Instead, we adopt a sampling-based approach using Langevin dynamics, which extends gradient ascent by simply injecting random noise--requiring just a single additional line of code. Additionally, we introduce adaptive time rescaling based on the reward function to accelerate convergence. Our experiments show that ORIGEN outperforms both training-based and test-time guidance methods across quantitative metrics and user studies.