사전 학습된 텍스트-이미지 확산 모델을 활용한 포인트 클라우드 완성

Point-Cloud Completion with Pretrained Text-to-image Diffusion Models

June 18, 2023

저자: Yoni Kasten, Ohad Rahamim, Gal Chechik

cs.AI

초록

실제 애플리케이션에서 수집된 포인트 클라우드 데이터는 종종 불완전합니다. 데이터가 누락되는 이유는 일반적으로 객체가 특정 관점이나 각도에서만 관찰되어 부분적인 시점만 캡처되기 때문입니다. 또한, 데이터는 가림 현상과 저해상도 샘플링으로 인해 불완전할 수 있습니다. 기존의 완성 방법들은 잡음이 많고 불완전한 포인트 클라우드를 완성하기 위해 미리 정의된 객체 데이터셋에 의존합니다. 그러나 이러한 방법들은 훈련 데이터셋에서 잘 표현되지 않은 분포 외(Out-Of-Distribution, OOD) 객체에 대해 테스트할 때 성능이 떨어집니다. 여기서 우리는 텍스트 기반 이미지 생성 분야의 최근 발전을 활용하여 텍스트 기반 형상 생성에 있어 주요 돌파구를 이룬 방법을 소개합니다. 우리는 사전 훈련된 텍스트-이미지 확산 모델을 사용하고, 주어진 불완전한 포인트 클라우드 객체의 텍스트 의미를 활용하여 완전한 표면 표현을 얻는 SDS-Complete라는 접근 방식을 설명합니다. SDS-Complete는 3D 정보의 비용이 많이 드는 수집 없이도 테스트 시간 최적화를 통해 다양한 객체를 완성할 수 있습니다. 우리는 실제 깊이 센서와 LiDAR 스캐너로 캡처된 불완전한 스캔 객체에 대해 SDS-Complete를 평가합니다. 이를 통해 일반 데이터셋에 포함되지 않은 객체를 효과적으로 재구성하며, 현재 방법 대비 평균 50%의 Chamfer 손실을 줄이는 것을 확인했습니다. 프로젝트 페이지: https://sds-complete.github.io/

English

Point-cloud data collected in real-world applications are often incomplete. Data is typically missing due to objects being observed from partial viewpoints, which only capture a specific perspective or angle. Additionally, data can be incomplete due to occlusion and low-resolution sampling. Existing completion approaches rely on datasets of predefined objects to guide the completion of noisy and incomplete, point clouds. However, these approaches perform poorly when tested on Out-Of-Distribution (OOD) objects, that are poorly represented in the training dataset. Here we leverage recent advances in text-guided image generation, which lead to major breakthroughs in text-guided shape generation. We describe an approach called SDS-Complete that uses a pre-trained text-to-image diffusion model and leverages the text semantics of a given incomplete point cloud of an object, to obtain a complete surface representation. SDS-Complete can complete a variety of objects using test-time optimization without expensive collection of 3D information. We evaluate SDS Complete on incomplete scanned objects, captured by real-world depth sensors and LiDAR scanners. We find that it effectively reconstructs objects that are absent from common datasets, reducing Chamfer loss by 50% on average compared with current methods. Project page: https://sds-complete.github.io/