StdGEN: Генерация трехмерных персонажей с семантическим декомпозицией по одиночным изображениям

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

Авторы: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

Аннотация

Мы представляем StdGEN, инновационный конвейер для создания семантически декомпозированных трехмерных персонажей высокого качества из одиночных изображений, обеспечивая широкие возможности применения в виртуальной реальности, играх и киноиндустрии и т. д. В отличие от предыдущих методов, которые сталкиваются с ограниченной декомпозируемостью, недостаточным качеством и длительными временами оптимизации, StdGEN обладает декомпозируемостью, эффективностью и эффективностью; т.е. он генерирует сложные детализированные трехмерные персонажи с разделенными семантическими компонентами, такими как тело, одежда и волосы, за три минуты. В основе StdGEN лежит наш предложенный Семантически-ориентированная Большая Модель Реконструкции (S-LRM), модель на основе трансформера, которая совместно восстанавливает геометрию, цвет и семантику из многовидовых изображений в прямом направлении. Вводится дифференцируемая многослойная схема извлечения семантической поверхности для получения сеток из гибридных неявных полей, восстановленных нашим S-LRM. Кроме того, в конвейер интегрирована специализированная эффективная модель диффузии многовидов и итерационный модуль улучшения поверхности многослойного уровня для облегчения генерации трехмерных персонажей высокого качества и декомпозируемости. Обширные эксперименты демонстрируют наше передовое качество в генерации трехмерных анимационных персонажей, превосходящее существующие базовые уровни существенно по геометрии, текстуре и декомпозируемости. StdGEN предлагает готовые к использованию семантически декомпозированные трехмерные персонажи и обеспечивает гибкую настройку для широкого спектра приложений. Страница проекта: https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io