Puntwolkcompletering met vooraf getrainde tekst-naar-beeld diffusiemodellen

Point-Cloud Completion with Pretrained Text-to-image Diffusion Models

June 18, 2023

Auteurs: Yoni Kasten, Ohad Rahamim, Gal Chechik

cs.AI

Samenvatting

Puntwolkgegevens die in real-world toepassingen worden verzameld, zijn vaak incompleet. Data ontbreekt meestal doordat objecten vanuit gedeeltelijke gezichtspunten worden waargenomen, die slechts een specifiek perspectief of hoek vastleggen. Bovendien kan data incompleet zijn door occlusie en bemonstering met een lage resolutie. Bestaande aanvullingsmethoden vertrouwen op datasets van vooraf gedefinieerde objecten om de aanvulling van ruisachtige en incomplete puntwolken te begeleiden. Deze methoden presteren echter slecht wanneer ze worden getest op Out-Of-Distribution (OOD) objecten, die slecht vertegenwoordigd zijn in de trainingsdataset. Hier maken we gebruik van recente vooruitgang in tekstgeleide beeldgeneratie, wat heeft geleid tot belangrijke doorbraken in tekstgeleide vormgeneratie. We beschrijven een aanpak genaamd SDS-Complete die een vooraf getraind tekst-naar-beeld diffusiemodel gebruikt en de tekstsemantiek van een gegeven incomplete puntwolk van een object benut om een compleet oppervlakterepresentatie te verkrijgen. SDS-Complete kan een verscheidenheid aan objecten aanvullen met behulp van test-time optimalisatie zonder dure verzameling van 3D-informatie. We evalueren SDS-Complete op incomplete gescande objecten, vastgelegd door real-world dieptesensoren en LiDAR-scanners. We constateren dat het effectief objecten reconstrueert die afwezig zijn in veelvoorkomende datasets, waarbij de Chamfer-verlies met gemiddeld 50% wordt verminderd in vergelijking met huidige methoden. Projectpagina: https://sds-complete.github.io/

English

Point-cloud data collected in real-world applications are often incomplete. Data is typically missing due to objects being observed from partial viewpoints, which only capture a specific perspective or angle. Additionally, data can be incomplete due to occlusion and low-resolution sampling. Existing completion approaches rely on datasets of predefined objects to guide the completion of noisy and incomplete, point clouds. However, these approaches perform poorly when tested on Out-Of-Distribution (OOD) objects, that are poorly represented in the training dataset. Here we leverage recent advances in text-guided image generation, which lead to major breakthroughs in text-guided shape generation. We describe an approach called SDS-Complete that uses a pre-trained text-to-image diffusion model and leverages the text semantics of a given incomplete point cloud of an object, to obtain a complete surface representation. SDS-Complete can complete a variety of objects using test-time optimization without expensive collection of 3D information. We evaluate SDS Complete on incomplete scanned objects, captured by real-world depth sensors and LiDAR scanners. We find that it effectively reconstructs objects that are absent from common datasets, reducing Chamfer loss by 50% on average compared with current methods. Project page: https://sds-complete.github.io/