pix2gestalt : Segmentation amodale par synthèse d'ensembles
pix2gestalt: Amodal Segmentation by Synthesizing Wholes
January 25, 2024
Auteurs: Ege Ozguroglu, Ruoshi Liu, Dídac Surís, Dian Chen, Achal Dave, Pavel Tokmakov, Carl Vondrick
cs.AI
Résumé
Nous présentons pix2gestalt, un cadre pour la segmentation amodale en zéro-shot, qui apprend à estimer la forme et l'apparence d'objets entiers qui ne sont que partiellement visibles derrière des occlusions. En exploitant des modèles de diffusion à grande échelle et en transférant leurs représentations à cette tâche, nous apprenons un modèle de diffusion conditionnelle pour reconstruire des objets entiers dans des cas de zéro-shot difficiles, y compris des exemples qui défient les préconceptions naturelles et physiques, comme l'art. Comme données d'entraînement, nous utilisons un ensemble de données synthétiquement organisé contenant des objets occlus associés à leurs versions complètes. Les expériences montrent que notre approche surpasse les méthodes supervisées de référence sur des benchmarks établis. Notre modèle peut en outre être utilisé pour améliorer significativement les performances des méthodes existantes de reconnaissance d'objets et de reconstruction 3D en présence d'occlusions.
English
We introduce pix2gestalt, a framework for zero-shot amodal segmentation,
which learns to estimate the shape and appearance of whole objects that are
only partially visible behind occlusions. By capitalizing on large-scale
diffusion models and transferring their representations to this task, we learn
a conditional diffusion model for reconstructing whole objects in challenging
zero-shot cases, including examples that break natural and physical priors,
such as art. As training data, we use a synthetically curated dataset
containing occluded objects paired with their whole counterparts. Experiments
show that our approach outperforms supervised baselines on established
benchmarks. Our model can furthermore be used to significantly improve the
performance of existing object recognition and 3D reconstruction methods in the
presence of occlusions.