ThemeStation: Generación de activos 3D con temática a partir de pocos ejemplos

ThemeStation: Generating Theme-Aware 3D Assets from Few Exemplars

March 22, 2024

Autores: Zhenwei Wang, Tengfei Wang, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

Resumen

Las aplicaciones del mundo real a menudo requieren una gran colección de activos 3D que compartan un tema consistente. Si bien se han logrado avances notables en la creación general de contenido 3D a partir de texto o imágenes, la síntesis de activos 3D personalizados que sigan el tema compartido de ejemplos 3D de entrada sigue siendo un problema abierto y desafiante. En este trabajo, presentamos ThemeStation, un enfoque novedoso para la generación 3D-a-3D consciente del tema. ThemeStation sintetiza activos 3D personalizados basados en unos pocos ejemplos dados con dos objetivos: 1) unidad para generar activos 3D que se alineen temáticamente con los ejemplos proporcionados y 2) diversidad para generar activos 3D con un alto grado de variaciones. Para ello, diseñamos un marco de trabajo de dos etapas que primero dibuja una imagen conceptual, seguido de una etapa de modelado 3D informada por referencias. Proponemos una nueva pérdida de destilación de puntuación dual (DSD) para aprovechar conjuntamente los conocimientos previos tanto de los ejemplos de entrada como de la imagen conceptual sintetizada. Experimentos extensos y estudios de usuario confirman que ThemeStation supera trabajos anteriores en la producción de modelos 3D diversos y conscientes del tema con una calidad impresionante. ThemeStation también permite diversas aplicaciones, como la generación 3D-a-3D controlable.

English

Real-world applications often require a large gallery of 3D assets that share a consistent theme. While remarkable advances have been made in general 3D content creation from text or image, synthesizing customized 3D assets following the shared theme of input 3D exemplars remains an open and challenging problem. In this work, we present ThemeStation, a novel approach for theme-aware 3D-to-3D generation. ThemeStation synthesizes customized 3D assets based on given few exemplars with two goals: 1) unity for generating 3D assets that thematically align with the given exemplars and 2) diversity for generating 3D assets with a high degree of variations. To this end, we design a two-stage framework that draws a concept image first, followed by a reference-informed 3D modeling stage. We propose a novel dual score distillation (DSD) loss to jointly leverage priors from both the input exemplars and the synthesized concept image. Extensive experiments and user studies confirm that ThemeStation surpasses prior works in producing diverse theme-aware 3D models with impressive quality. ThemeStation also enables various applications such as controllable 3D-to-3D generation.