pix2gestalt: Амодальная сегментация через синтез целостных образов

pix2gestalt: Amodal Segmentation by Synthesizing Wholes

January 25, 2024

Авторы: Ege Ozguroglu, Ruoshi Liu, Dídac Surís, Dian Chen, Achal Dave, Pavel Tokmakov, Carl Vondrick

cs.AI

Аннотация

Мы представляем pix2gestalt — фреймворк для амодальной сегментации в условиях zero-shot, который обучается оценивать форму и внешний вид целых объектов, частично скрытых за окклюзиями. Используя крупномасштабные диффузионные модели и перенося их представления на эту задачу, мы обучаем условную диффузионную модель для восстановления целых объектов в сложных zero-shot сценариях, включая примеры, нарушающие естественные и физические предпосылки, такие как произведения искусства. В качестве обучающих данных используется синтетически созданный набор данных, содержащий частично скрытые объекты в паре с их целыми аналогами. Эксперименты показывают, что наш подход превосходит контролируемые базовые методы на общепринятых бенчмарках. Кроме того, наша модель может быть использована для значительного улучшения производительности существующих методов распознавания объектов и 3D-реконструкции в условиях окклюзий.

English

We introduce pix2gestalt, a framework for zero-shot amodal segmentation, which learns to estimate the shape and appearance of whole objects that are only partially visible behind occlusions. By capitalizing on large-scale diffusion models and transferring their representations to this task, we learn a conditional diffusion model for reconstructing whole objects in challenging zero-shot cases, including examples that break natural and physical priors, such as art. As training data, we use a synthetically curated dataset containing occluded objects paired with their whole counterparts. Experiments show that our approach outperforms supervised baselines on established benchmarks. Our model can furthermore be used to significantly improve the performance of existing object recognition and 3D reconstruction methods in the presence of occlusions.