HyperDreamer: Создание и редактирование гиперреалистичного 3D-контента на основе одного изображения

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

Авторы: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

Аннотация

Создание 3D-контента на основе одного изображения — это давняя, но крайне востребованная задача. Последние достижения вводят 2D диффузионные априорные модели, дающие разумные результаты. Однако существующие методы недостаточно гиперреалистичны для использования после генерации, так как пользователи не могут просматривать, рендерить и редактировать полученный 3D-контент с любого угла. Чтобы решить эти проблемы, мы представляем HyperDreamer с несколькими ключевыми разработками и привлекательными свойствами: 1) Просматриваемость: моделирование сетки на 360 градусов с текстурами высокого разрешения позволяет создавать визуально привлекательные 3D-модели, которые можно рассматривать с любого угла. 2) Рендеринг: тонкая семантическая сегментация и априорные данные используются как руководство для изучения разумных значений альбедо, шероховатости и зеркальных свойств материалов, что позволяет семантически осознанно оценивать произвольные материалы. 3) Редактируемость: для сгенерированной модели или собственных данных пользователи могут интерактивно выбирать любую область несколькими кликами и эффективно редактировать текстуру с текстовым руководством. Многочисленные эксперименты демонстрируют эффективность HyperDreamer в моделировании материалов с учетом регионов и текстурами высокого разрешения, а также в обеспечении удобного редактирования. Мы считаем, что HyperDreamer имеет потенциал для продвижения создания 3D-контента и нахождения применения в различных областях.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.