pix2gestalt: Amodale segmentatie door het synthetiseren van gehelen

Samenvatting

We introduceren pix2gestalt, een raamwerk voor zero-shot amodale segmentatie, dat leert om de vorm en het uiterlijk van hele objecten te schatten die slechts gedeeltelijk zichtbaar zijn achter occlusies. Door gebruik te maken van grootschalige diffusiemodellen en hun representaties over te dragen naar deze taak, leren we een conditioneel diffusiemodel voor het reconstrueren van hele objecten in uitdagende zero-shot gevallen, inclusief voorbeelden die natuurlijke en fysieke aannames doorbreken, zoals kunst. Als trainingsdata gebruiken we een synthetisch samengestelde dataset die occluded objecten bevat, gekoppeld aan hun volledige tegenhangers. Experimenten tonen aan dat onze aanpak supervised baseline-methoden overtreft op gevestigde benchmarks. Ons model kan bovendien worden gebruikt om de prestaties van bestaande objectherkenning- en 3D-reconstructiemethoden aanzienlijk te verbeteren in de aanwezigheid van occlusies.

English

We introduce pix2gestalt, a framework for zero-shot amodal segmentation, which learns to estimate the shape and appearance of whole objects that are only partially visible behind occlusions. By capitalizing on large-scale diffusion models and transferring their representations to this task, we learn a conditional diffusion model for reconstructing whole objects in challenging zero-shot cases, including examples that break natural and physical priors, such as art. As training data, we use a synthetically curated dataset containing occluded objects paired with their whole counterparts. Experiments show that our approach outperforms supervised baselines on established benchmarks. Our model can furthermore be used to significantly improve the performance of existing object recognition and 3D reconstruction methods in the presence of occlusions.

pix2gestalt: Amodale segmentatie door het synthetiseren van gehelen

pix2gestalt: Amodal Segmentation by Synthesizing Wholes

Samenvatting

Support