ThemeStation: 소수의 예시로부터 테마 기반 3D 자산 생성

ThemeStation: Generating Theme-Aware 3D Assets from Few Exemplars

March 22, 2024

저자: Zhenwei Wang, Tengfei Wang, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

초록

실제 애플리케이션에서는 종종 일관된 테마를 공유하는 대규모 3D 자산 라이브러리가 필요합니다. 텍스트나 이미지로부터 일반적인 3D 콘텐츠를 생성하는 데 있어서는 놀라운 발전이 있었지만, 입력된 3D 예제들의 공유된 테마를 따라 맞춤형 3D 자산을 합성하는 것은 여전히 열려 있고 어려운 문제로 남아 있습니다. 본 연구에서는 테마 인식 3D-to-3D 생성을 위한 새로운 접근 방식인 ThemeStation을 제안합니다. ThemeStation은 주어진 몇 가지 예제를 기반으로 맞춤형 3D 자산을 합성하며, 두 가지 목표를 가지고 있습니다: 1) 주어진 예제들과 테마적으로 일치하는 3D 자산을 생성하는 통일성과 2) 높은 수준의 변형을 가진 3D 자산을 생성하는 다양성입니다. 이를 위해, 우리는 먼저 컨셉 이미지를 그린 다음, 참조 정보를 활용한 3D 모델링 단계로 구성된 두 단계 프레임워크를 설계했습니다. 또한, 입력 예제들과 합성된 컨셉 이미지로부터의 사전 지식을 공동으로 활용하기 위해 새로운 이중 점수 증류(DSD) 손실을 제안합니다. 광범위한 실험과 사용자 연구를 통해 ThemeStation이 인상적인 품질로 다양한 테마 인식 3D 모델을 생성하는 데 있어 기존 연구를 능가한다는 것을 확인했습니다. ThemeStation은 또한 제어 가능한 3D-to-3D 생성과 같은 다양한 애플리케이션을 가능하게 합니다.

English

Real-world applications often require a large gallery of 3D assets that share a consistent theme. While remarkable advances have been made in general 3D content creation from text or image, synthesizing customized 3D assets following the shared theme of input 3D exemplars remains an open and challenging problem. In this work, we present ThemeStation, a novel approach for theme-aware 3D-to-3D generation. ThemeStation synthesizes customized 3D assets based on given few exemplars with two goals: 1) unity for generating 3D assets that thematically align with the given exemplars and 2) diversity for generating 3D assets with a high degree of variations. To this end, we design a two-stage framework that draws a concept image first, followed by a reference-informed 3D modeling stage. We propose a novel dual score distillation (DSD) loss to jointly leverage priors from both the input exemplars and the synthesized concept image. Extensive experiments and user studies confirm that ThemeStation surpasses prior works in producing diverse theme-aware 3D models with impressive quality. ThemeStation also enables various applications such as controllable 3D-to-3D generation.