SpaRP: Быстрая реконструкция 3D объектов и оценка позы из разреженных видов

SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views

August 19, 2024

Авторы: Chao Xu, Ang Li, Linghao Chen, Yulin Liu, Ruoxi Shi, Hao Su, Minghua Liu

cs.AI

Аннотация

Генерация трехмерных открытых миров в последнее время привлекла значительное внимание. Хотя многие методы преобразования одного изображения в трехмерное привели к визуально привлекательным результатам, они часто не обладают достаточной управляемостью и склонны создавать галлюцинации, которые могут не соответствовать ожиданиям пользователей. В данной статье мы исследуем важный сценарий, в котором ввод состоит из одного или нескольких непозированных двумерных изображений одного объекта, с небольшим или отсутствующим перекрытием. Мы предлагаем новый метод, SpaRP, для восстановления текстурированной трехмерной сетки и оценки относительных поз камер для этих разреженных видов изображений. SpaRP извлекает знания из двумерных моделей диффузии и донастраивает их для неявного вывода трехмерных пространственных отношений между разреженными видами. Модель диффузии обучается совместно предсказывать замещающие представления для поз камер и многовидовые изображения объекта при известных позах, интегрируя всю информацию из вводимых разреженных видов. Эти предсказания затем используются для выполнения трехмерной реконструкции и оценки поз, и восстановленную трехмерную модель можно использовать для дальнейшего уточнения поз камер вводимых видов. Проведя обширные эксперименты на трех наборах данных, мы демонстрируем, что наш метод не только значительно превосходит базовые методы по качеству трехмерной реконструкции и точности прогнозирования поз, но также обладает высокой эффективностью. Для создания текстурированной сетки и поз камер для вводимых видов требуется всего около 20 секунд. Страница проекта: https://chaoxu.xyz/sparp.

English

Open-world 3D generation has recently attracted considerable attention. While many single-image-to-3D methods have yielded visually appealing outcomes, they often lack sufficient controllability and tend to produce hallucinated regions that may not align with users' expectations. In this paper, we explore an important scenario in which the input consists of one or a few unposed 2D images of a single object, with little or no overlap. We propose a novel method, SpaRP, to reconstruct a 3D textured mesh and estimate the relative camera poses for these sparse-view images. SpaRP distills knowledge from 2D diffusion models and finetunes them to implicitly deduce the 3D spatial relationships between the sparse views. The diffusion model is trained to jointly predict surrogate representations for camera poses and multi-view images of the object under known poses, integrating all information from the input sparse views. These predictions are then leveraged to accomplish 3D reconstruction and pose estimation, and the reconstructed 3D model can be used to further refine the camera poses of input views. Through extensive experiments on three datasets, we demonstrate that our method not only significantly outperforms baseline methods in terms of 3D reconstruction quality and pose prediction accuracy but also exhibits strong efficiency. It requires only about 20 seconds to produce a textured mesh and camera poses for the input views. Project page: https://chaoxu.xyz/sparp.