ThemeStation: Het genereren van themagerichte 3D-assets op basis van enkele voorbeelden

ThemeStation: Generating Theme-Aware 3D Assets from Few Exemplars

March 22, 2024

Auteurs: Zhenwei Wang, Tengfei Wang, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

Samenvatting

Real-world toepassingen vereisen vaak een grote verzameling van 3D-assets die een consistent thema delen. Hoewel er opmerkelijke vooruitgang is geboekt in het algemeen creëren van 3D-inhoud vanuit tekst of afbeeldingen, blijft het synthetiseren van aangepaste 3D-assets die het gedeelde thema van ingevoerde 3D-voorbeelden volgen een open en uitdagend probleem. In dit werk presenteren we ThemeStation, een nieuwe benadering voor themabewuste 3D-naar-3D-generatie. ThemeStation synthetiseert aangepaste 3D-assets op basis van enkele gegeven voorbeelden met twee doelen: 1) eenheid voor het genereren van 3D-assets die thematisch aansluiten bij de gegeven voorbeelden en 2) diversiteit voor het genereren van 3D-assets met een hoge mate van variatie. Hiertoe ontwerpen we een tweestaps raamwerk dat eerst een conceptafbeelding maakt, gevolgd door een referentie-geïnformeerde 3D-modelleringsfase. We stellen een nieuwe dual score distillation (DSD) loss voor om gezamenlijk gebruik te maken van kennis uit zowel de ingevoerde voorbeelden als de gesynthetiseerde conceptafbeelding. Uitgebreide experimenten en gebruikersstudies bevestigen dat ThemeStation eerdere werken overtreft in het produceren van diverse themabewuste 3D-modellen van indrukwekkende kwaliteit. ThemeStation maakt ook verschillende toepassingen mogelijk, zoals controleerbare 3D-naar-3D-generatie.

English

Real-world applications often require a large gallery of 3D assets that share a consistent theme. While remarkable advances have been made in general 3D content creation from text or image, synthesizing customized 3D assets following the shared theme of input 3D exemplars remains an open and challenging problem. In this work, we present ThemeStation, a novel approach for theme-aware 3D-to-3D generation. ThemeStation synthesizes customized 3D assets based on given few exemplars with two goals: 1) unity for generating 3D assets that thematically align with the given exemplars and 2) diversity for generating 3D assets with a high degree of variations. To this end, we design a two-stage framework that draws a concept image first, followed by a reference-informed 3D modeling stage. We propose a novel dual score distillation (DSD) loss to jointly leverage priors from both the input exemplars and the synthesized concept image. Extensive experiments and user studies confirm that ThemeStation surpasses prior works in producing diverse theme-aware 3D models with impressive quality. ThemeStation also enables various applications such as controllable 3D-to-3D generation.