ChatPaper.aiChatPaper

Интерактивная 3D: Создавайте то, что хотите с помощью интерактивной 3D-генерации.

Interactive3D: Create What You Want by Interactive 3D Generation

April 25, 2024
Авторы: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu
cs.AI

Аннотация

Генерация трехмерных объектов претерпела значительные усовершенствования, приводя к получению высококачественных результатов. Однако она не достигает точного контроля со стороны пользователя, часто давая результаты, которые не соответствуют ожиданиям пользователя, что ограничивает их применимость. Генерация трехмерных объектов с учетом видения пользователя сталкивается с существенными проблемами в реализации своих концепций с использованием текущих генеративных моделей из-за ограниченных возможностей взаимодействия. Существующие методы в основном предлагают два подхода: (i) интерпретацию текстовых инструкций с ограниченной управляемостью или (ii) восстановление трехмерных объектов из двумерных изображений. Оба подхода ограничивают настройку в рамках двумерной ссылки и могут внести нежелательные артефакты в процессе преобразования в трехмерное пространство, ограничивая возможности прямых и универсальных трехмерных модификаций. В данной работе мы представляем Interactive3D, инновационную платформу для интерактивной генерации трехмерных объектов, предоставляющую пользователям точный контроль над процессом генерации благодаря обширным возможностям трехмерного взаимодействия. Interactive3D построен в двух каскадных этапах, используя различные трехмерные представления. Первый этап использует Гауссово сглаживание для прямого взаимодействия пользователя, позволяя модифицировать и направлять процесс генерации на любом промежуточном этапе через (i) Добавление и Удаление компонентов, (ii) Деформируемое и Жесткое Перетаскивание, (iii) Геометрические Преобразования и (iv) Семантическое Редактирование. Затем Гауссовы сглаживания преобразуются в InstantNGP. Мы представляем новый (v) модуль Интерактивной Хэш-доработки для дальнейшего добавления деталей и извлечения геометрии на втором этапе. Наши эксперименты показывают, что Interactive3D значительно улучшает управляемость и качество генерации трехмерных объектов. Наш веб-сайт проекта доступен по адресу https://interactive-3d.github.io/.
English
3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at https://interactive-3d.github.io/.

Summary

AI-Generated Summary

PDF211December 15, 2024