Completado de Nubes de Puntos con Modelos de Difusión de Texto a Imagen Preentrenados

Point-Cloud Completion with Pretrained Text-to-image Diffusion Models

June 18, 2023

Autores: Yoni Kasten, Ohad Rahamim, Gal Chechik

cs.AI

Resumen

Los datos de nubes de puntos recopilados en aplicaciones del mundo real suelen estar incompletos. Los datos generalmente faltan debido a que los objetos se observan desde perspectivas parciales, que solo capturan un ángulo o punto de vista específico. Además, los datos pueden estar incompletos debido a oclusiones y muestreos de baja resolución. Los enfoques de completado existentes dependen de conjuntos de datos de objetos predefinidos para guiar el completado de nubes de puntos ruidosas e incompletas. Sin embargo, estos enfoques tienen un rendimiento deficiente cuando se prueban en objetos fuera de distribución (Out-Of-Distribution, OOD), que están poco representados en el conjunto de datos de entrenamiento. Aquí aprovechamos los avances recientes en la generación de imágenes guiada por texto, que han llevado a avances significativos en la generación de formas guiada por texto. Describimos un enfoque llamado SDS-Complete que utiliza un modelo de difusión preentrenado de texto a imagen y aprovecha la semántica textual de una nube de puntos incompleta de un objeto para obtener una representación completa de su superficie. SDS-Complete puede completar una variedad de objetos mediante optimización en tiempo de prueba sin la costosa recopilación de información 3D. Evaluamos SDS-Complete en objetos escaneados incompletos, capturados por sensores de profundidad y escáneres LiDAR del mundo real. Encontramos que reconstruye eficazmente objetos que están ausentes en los conjuntos de datos comunes, reduciendo la pérdida de Chamfer en un 50% en promedio en comparación con los métodos actuales. Página del proyecto: https://sds-complete.github.io/

English

Point-cloud data collected in real-world applications are often incomplete. Data is typically missing due to objects being observed from partial viewpoints, which only capture a specific perspective or angle. Additionally, data can be incomplete due to occlusion and low-resolution sampling. Existing completion approaches rely on datasets of predefined objects to guide the completion of noisy and incomplete, point clouds. However, these approaches perform poorly when tested on Out-Of-Distribution (OOD) objects, that are poorly represented in the training dataset. Here we leverage recent advances in text-guided image generation, which lead to major breakthroughs in text-guided shape generation. We describe an approach called SDS-Complete that uses a pre-trained text-to-image diffusion model and leverages the text semantics of a given incomplete point cloud of an object, to obtain a complete surface representation. SDS-Complete can complete a variety of objects using test-time optimization without expensive collection of 3D information. We evaluate SDS Complete on incomplete scanned objects, captured by real-world depth sensors and LiDAR scanners. We find that it effectively reconstructs objects that are absent from common datasets, reducing Chamfer loss by 50% on average compared with current methods. Project page: https://sds-complete.github.io/