pix2gestalt: Amodale Segmentierung durch Synthese von Ganzheiten

pix2gestalt: Amodal Segmentation by Synthesizing Wholes

January 25, 2024

Autoren: Ege Ozguroglu, Ruoshi Liu, Dídac Surís, Dian Chen, Achal Dave, Pavel Tokmakov, Carl Vondrick

cs.AI

Zusammenfassung

Wir stellen pix2gestalt vor, ein Framework für Zero-Shot Amodale Segmentierung, das lernt, die Form und das Erscheinungsbild ganzer Objekte zu schätzen, die nur teilweise hinter Verdeckungen sichtbar sind. Indem wir groß angelegte Diffusionsmodelle nutzen und deren Repräsentationen auf diese Aufgabe übertragen, lernen wir ein bedingtes Diffusionsmodell zur Rekonstruktion ganzer Objekte in anspruchsvollen Zero-Shot-Fällen, einschließlich Beispielen, die natürliche und physikalische Annahmen brechen, wie etwa Kunst. Als Trainingsdaten verwenden wir einen synthetisch kuratierten Datensatz, der verdeckte Objekte zusammen mit ihren vollständigen Gegenstücken enthält. Experimente zeigen, dass unser Ansatz überwachte Baselines auf etablierten Benchmarks übertrifft. Unser Modell kann darüber hinaus verwendet werden, um die Leistung bestehender Methoden zur Objekterkennung und 3D-Rekonstruktion bei Vorhandensein von Verdeckungen erheblich zu verbessern.

English

We introduce pix2gestalt, a framework for zero-shot amodal segmentation, which learns to estimate the shape and appearance of whole objects that are only partially visible behind occlusions. By capitalizing on large-scale diffusion models and transferring their representations to this task, we learn a conditional diffusion model for reconstructing whole objects in challenging zero-shot cases, including examples that break natural and physical priors, such as art. As training data, we use a synthetically curated dataset containing occluded objects paired with their whole counterparts. Experiments show that our approach outperforms supervised baselines on established benchmarks. Our model can furthermore be used to significantly improve the performance of existing object recognition and 3D reconstruction methods in the presence of occlusions.