pix2gestalt: Segmentación Amodal mediante la Síntesis de Totalidades

pix2gestalt: Amodal Segmentation by Synthesizing Wholes

January 25, 2024

Autores: Ege Ozguroglu, Ruoshi Liu, Dídac Surís, Dian Chen, Achal Dave, Pavel Tokmakov, Carl Vondrick

cs.AI

Resumen

Presentamos pix2gestalt, un marco para la segmentación amodal de cero disparos, que aprende a estimar la forma y apariencia de objetos completos que están parcialmente visibles detrás de oclusiones. Al aprovechar modelos de difusión a gran escala y transferir sus representaciones a esta tarea, entrenamos un modelo de difusión condicional para reconstruir objetos completos en casos desafiantes de cero disparos, incluyendo ejemplos que rompen con los principios naturales y físicos, como el arte. Como datos de entrenamiento, utilizamos un conjunto de datos sintéticamente curado que contiene objetos ocluidos emparejados con sus contrapartes completas. Los experimentos muestran que nuestro enfoque supera a los baselines supervisados en benchmarks establecidos. Además, nuestro modelo puede utilizarse para mejorar significativamente el rendimiento de los métodos existentes de reconocimiento de objetos y reconstrucción 3D en presencia de oclusiones.

English

We introduce pix2gestalt, a framework for zero-shot amodal segmentation, which learns to estimate the shape and appearance of whole objects that are only partially visible behind occlusions. By capitalizing on large-scale diffusion models and transferring their representations to this task, we learn a conditional diffusion model for reconstructing whole objects in challenging zero-shot cases, including examples that break natural and physical priors, such as art. As training data, we use a synthetically curated dataset containing occluded objects paired with their whole counterparts. Experiments show that our approach outperforms supervised baselines on established benchmarks. Our model can furthermore be used to significantly improve the performance of existing object recognition and 3D reconstruction methods in the presence of occlusions.