ThemeStation : Génération d'actifs 3D adaptés à un thème à partir de quelques exemples

ThemeStation: Generating Theme-Aware 3D Assets from Few Exemplars

March 22, 2024

Auteurs: Zhenwei Wang, Tengfei Wang, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

Résumé

Les applications réelles nécessitent souvent une vaste collection d'assets 3D partageant un thème cohérent. Bien que des avancées remarquables aient été réalisées dans la création générale de contenu 3D à partir de texte ou d'images, la synthèse d'assets 3D personnalisés suivant le thème partagé d'exemplaires 3D d'entrée reste un problème ouvert et complexe. Dans ce travail, nous présentons ThemeStation, une approche novatrice pour la génération 3D-à-3D consciente du thème. ThemeStation synthétise des assets 3D personnalisés à partir de quelques exemplaires donnés, avec deux objectifs : 1) l'unité, pour générer des assets 3D alignés thématiquement avec les exemplaires fournis, et 2) la diversité, pour générer des assets 3D présentant un haut degré de variations. Pour ce faire, nous concevons un framework en deux étapes qui dessine d'abord une image conceptuelle, suivie d'une étape de modélisation 3D informée par référence. Nous proposons une nouvelle fonction de perte de distillation à double score (DSD) pour exploiter conjointement les connaissances a priori des exemplaires d'entrée et de l'image conceptuelle synthétisée. Des expériences approfondies et des études utilisateurs confirment que ThemeStation surpasse les travaux antérieurs en produisant des modèles 3D diversifiés et conscients du thème, avec une qualité impressionnante. ThemeStation permet également diverses applications, telles que la génération 3D-à-3D contrôlable.

English

Real-world applications often require a large gallery of 3D assets that share a consistent theme. While remarkable advances have been made in general 3D content creation from text or image, synthesizing customized 3D assets following the shared theme of input 3D exemplars remains an open and challenging problem. In this work, we present ThemeStation, a novel approach for theme-aware 3D-to-3D generation. ThemeStation synthesizes customized 3D assets based on given few exemplars with two goals: 1) unity for generating 3D assets that thematically align with the given exemplars and 2) diversity for generating 3D assets with a high degree of variations. To this end, we design a two-stage framework that draws a concept image first, followed by a reference-informed 3D modeling stage. We propose a novel dual score distillation (DSD) loss to jointly leverage priors from both the input exemplars and the synthesized concept image. Extensive experiments and user studies confirm that ThemeStation surpasses prior works in producing diverse theme-aware 3D models with impressive quality. ThemeStation also enables various applications such as controllable 3D-to-3D generation.