ThemeStation: Geração de Ativos 3D com Tema a partir de Poucos Exemplares

ThemeStation: Generating Theme-Aware 3D Assets from Few Exemplars

March 22, 2024

Autores: Zhenwei Wang, Tengfei Wang, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

Resumo

Aplicações do mundo real frequentemente exigem uma grande galeria de ativos 3D que compartilham um tema consistente. Embora avanços notáveis tenham sido feitos na criação geral de conteúdo 3D a partir de texto ou imagem, a síntese de ativos 3D personalizados que seguem o tema compartilhado de exemplares 3D de entrada continua sendo um problema aberto e desafiador. Neste trabalho, apresentamos o ThemeStation, uma abordagem inovadora para geração 3D-to-3D com consciência temática. O ThemeStation sintetiza ativos 3D personalizados com base em poucos exemplares fornecidos, com dois objetivos: 1) unidade, para gerar ativos 3D que se alinham tematicamente com os exemplares fornecidos, e 2) diversidade, para gerar ativos 3D com um alto grau de variações. Para isso, projetamos uma estrutura de duas etapas que primeiro desenha uma imagem conceitual, seguida por uma etapa de modelagem 3D informada por referência. Propomos uma nova função de perda de destilação de pontuação dupla (DSD) para aproveitar conjuntamente os conhecimentos prévios tanto dos exemplares de entrada quanto da imagem conceitual sintetizada. Experimentos extensivos e estudos com usuários confirmam que o ThemeStation supera trabalhos anteriores na produção de modelos 3D diversos e com consciência temática, com qualidade impressionante. O ThemeStation também possibilita várias aplicações, como a geração 3D-to-3D controlável.

English

Real-world applications often require a large gallery of 3D assets that share a consistent theme. While remarkable advances have been made in general 3D content creation from text or image, synthesizing customized 3D assets following the shared theme of input 3D exemplars remains an open and challenging problem. In this work, we present ThemeStation, a novel approach for theme-aware 3D-to-3D generation. ThemeStation synthesizes customized 3D assets based on given few exemplars with two goals: 1) unity for generating 3D assets that thematically align with the given exemplars and 2) diversity for generating 3D assets with a high degree of variations. To this end, we design a two-stage framework that draws a concept image first, followed by a reference-informed 3D modeling stage. We propose a novel dual score distillation (DSD) loss to jointly leverage priors from both the input exemplars and the synthesized concept image. Extensive experiments and user studies confirm that ThemeStation surpasses prior works in producing diverse theme-aware 3D models with impressive quality. ThemeStation also enables various applications such as controllable 3D-to-3D generation.