Часть123: Реконструкция трехмерных объектов с учетом их частей по изображению с одного ракурса

Part123: Part-aware 3D Reconstruction from a Single-view Image

May 27, 2024

Авторы: Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang

cs.AI

Аннотация

Недавно появление моделей диффузии открыло новые возможности для восстановления объектов по одному изображению. Однако все существующие методы представляют целевой объект в виде замкнутой сетки, лишенной структурной информации, тем самым игнорируя частно-ориентированную структуру, которая является важной для многих последующих приложений, восстанавливаемой формы. Более того, сгенерированные сетки обычно страдают от больших шумов, неоднородных поверхностей и размытых текстур, что затрудняет получение удовлетворительных частных сегментов с использованием техник сегментации в 3D. В данной статье мы представляем Part123, новую концепцию для частно-ориентированного 3D восстановления по одному изображению. Сначала мы используем модели диффузии для генерации мультивидовых согласованных изображений из данного изображения, а затем используем Модель Любого Сегмента (SAM), которая демонстрирует мощную обобщающую способность на произвольных объектах, для генерации мультивидовых масок сегментации. Для эффективного включения 2D информации на основе частей в 3D восстановление и обработки несоответствий мы вводим контрастное обучение в нейронную среду визуализации для изучения пространства признаков, ориентированных на части, на основе мультивидовых масок сегментации. Также разработан алгоритм на основе кластеризации для автоматического получения результатов сегментации частей в 3D из восстановленных моделей. Эксперименты показывают, что наш метод может генерировать 3D модели с высококачественными сегментированными частями на различных объектах. По сравнению с существующими методами неструктурированного восстановления, частно-ориентированные 3D модели из нашего метода приносят пользу некоторым важным приложениям, включая сохранение особенностей восстановления, приближение примитивов и редактирование формы в 3D.

English

Recently, the emergence of diffusion models has opened up new opportunities for single-view reconstruction. However, all the existing methods represent the target object as a closed mesh devoid of any structural information, thus neglecting the part-based structure, which is crucial for many downstream applications, of the reconstructed shape. Moreover, the generated meshes usually suffer from large noises, unsmooth surfaces, and blurry textures, making it challenging to obtain satisfactory part segments using 3D segmentation techniques. In this paper, we present Part123, a novel framework for part-aware 3D reconstruction from a single-view image. We first use diffusion models to generate multiview-consistent images from a given image, and then leverage Segment Anything Model (SAM), which demonstrates powerful generalization ability on arbitrary objects, to generate multiview segmentation masks. To effectively incorporate 2D part-based information into 3D reconstruction and handle inconsistency, we introduce contrastive learning into a neural rendering framework to learn a part-aware feature space based on the multiview segmentation masks. A clustering-based algorithm is also developed to automatically derive 3D part segmentation results from the reconstructed models. Experiments show that our method can generate 3D models with high-quality segmented parts on various objects. Compared to existing unstructured reconstruction methods, the part-aware 3D models from our method benefit some important applications, including feature-preserving reconstruction, primitive fitting, and 3D shape editing.