Завершение облаков точек с использованием предобученных моделей диффузии для генерации изображений из текста

Point-Cloud Completion with Pretrained Text-to-image Diffusion Models

June 18, 2023

Авторы: Yoni Kasten, Ohad Rahamim, Gal Chechik

cs.AI

Аннотация

Данные в виде облаков точек, собранные в реальных приложениях, часто являются неполными. Данные обычно отсутствуют из-за того, что объекты наблюдаются с частичных точек зрения, которые захватывают только определенный ракурс или угол. Кроме того, данные могут быть неполными из-за окклюзии и низкого разрешения сэмплирования. Существующие подходы к восстановлению полагаются на наборы данных предопределенных объектов для восстановления зашумленных и неполных облаков точек. Однако эти подходы показывают низкую эффективность при тестировании на объектах, выходящих за пределы распределения (Out-Of-Distribution, OOD), которые плохо представлены в обучающем наборе данных. В данной работе мы используем последние достижения в области генерации изображений на основе текста, которые привели к значительным прорывам в генерации форм с использованием текстовых описаний. Мы описываем подход под названием SDS-Complete, который использует предварительно обученную модель диффузии для генерации изображений из текста и использует семантику текста для заданного неполного облака точек объекта, чтобы получить полное представление поверхности. SDS-Complete может восстанавливать разнообразные объекты с использованием оптимизации на этапе тестирования без дорогостоящего сбора 3D-информации. Мы оцениваем SDS-Complete на неполных отсканированных объектах, захваченных реальными датчиками глубины и лидарными сканерами. Мы обнаруживаем, что он эффективно восстанавливает объекты, отсутствующие в распространенных наборах данных, снижая потери по метрике Chamfer в среднем на 50% по сравнению с современными методами. Страница проекта: https://sds-complete.github.io/

English

Point-cloud data collected in real-world applications are often incomplete. Data is typically missing due to objects being observed from partial viewpoints, which only capture a specific perspective or angle. Additionally, data can be incomplete due to occlusion and low-resolution sampling. Existing completion approaches rely on datasets of predefined objects to guide the completion of noisy and incomplete, point clouds. However, these approaches perform poorly when tested on Out-Of-Distribution (OOD) objects, that are poorly represented in the training dataset. Here we leverage recent advances in text-guided image generation, which lead to major breakthroughs in text-guided shape generation. We describe an approach called SDS-Complete that uses a pre-trained text-to-image diffusion model and leverages the text semantics of a given incomplete point cloud of an object, to obtain a complete surface representation. SDS-Complete can complete a variety of objects using test-time optimization without expensive collection of 3D information. We evaluate SDS Complete on incomplete scanned objects, captured by real-world depth sensors and LiDAR scanners. We find that it effectively reconstructs objects that are absent from common datasets, reducing Chamfer loss by 50% on average compared with current methods. Project page: https://sds-complete.github.io/