ThemeStation: 少数の例からテーマに沿った3Dアセットを生成する

ThemeStation: Generating Theme-Aware 3D Assets from Few Exemplars

March 22, 2024

著者: Zhenwei Wang, Tengfei Wang, Gerhard Hancke, Ziwei Liu, Rynson W. H. Lau

cs.AI

要旨

現実世界のアプリケーションでは、一貫したテーマを共有する大量の3Dアセットが必要とされることが多い。テキストや画像からの一般的な3Dコンテンツ作成においては目覚ましい進展が見られるものの、入力された3Dサンプルと共通のテーマに従ったカスタマイズされた3Dアセットを合成することは、未解決かつ困難な課題として残されている。本研究では、テーマを意識した3D-to-3D生成のための新しいアプローチであるThemeStationを提案する。ThemeStationは、与えられた少数のサンプルに基づいてカスタマイズされた3Dアセットを合成し、以下の2つの目標を達成する：1）与えられたサンプルとテーマ的に整合する3Dアセットを生成する「統一性」、2）高いバリエーションを持つ3Dアセットを生成する「多様性」。これを実現するため、我々はまずコンセプト画像を描画し、その後参照情報を活用した3Dモデリングを行う2段階のフレームワークを設計した。さらに、入力サンプルと合成されたコンセプト画像の両方から事前知識を活用するために、新しいデュアルスコア蒸留（DSD）損失を提案する。大規模な実験とユーザスタディを通じて、ThemeStationが多様なテーマを意識した3Dモデルを高品質で生成する点において、従来の手法を凌駕することが確認された。ThemeStationは、制御可能な3D-to-3D生成など、さまざまな応用も可能にする。

English

Real-world applications often require a large gallery of 3D assets that share a consistent theme. While remarkable advances have been made in general 3D content creation from text or image, synthesizing customized 3D assets following the shared theme of input 3D exemplars remains an open and challenging problem. In this work, we present ThemeStation, a novel approach for theme-aware 3D-to-3D generation. ThemeStation synthesizes customized 3D assets based on given few exemplars with two goals: 1) unity for generating 3D assets that thematically align with the given exemplars and 2) diversity for generating 3D assets with a high degree of variations. To this end, we design a two-stage framework that draws a concept image first, followed by a reference-informed 3D modeling stage. We propose a novel dual score distillation (DSD) loss to jointly leverage priors from both the input exemplars and the synthesized concept image. Extensive experiments and user studies confirm that ThemeStation surpasses prior works in producing diverse theme-aware 3D models with impressive quality. ThemeStation also enables various applications such as controllable 3D-to-3D generation.