pix2gestalt: Segmentazione Amodale attraverso la Sintesi di Interi
pix2gestalt: Amodal Segmentation by Synthesizing Wholes
January 25, 2024
Autori: Ege Ozguroglu, Ruoshi Liu, Dídac Surís, Dian Chen, Achal Dave, Pavel Tokmakov, Carl Vondrick
cs.AI
Abstract
Presentiamo pix2gestalt, un framework per la segmentazione amodale zero-shot, che apprende a stimare la forma e l'aspetto di oggetti interi che sono solo parzialmente visibili dietro occlusioni. Sfruttando modelli di diffusione su larga scala e trasferendo le loro rappresentazioni a questo compito, apprendiamo un modello di diffusione condizionale per ricostruire oggetti interi in casi zero-shot complessi, inclusi esempi che violano priorità naturali e fisiche, come l'arte. Come dati di addestramento, utilizziamo un dataset sinteticamente curato contenente oggetti occlusi accoppiati con le loro controparti complete. Gli esperimenti dimostrano che il nostro approccio supera i baseline supervisionati su benchmark consolidati. Il nostro modello può inoltre essere utilizzato per migliorare significativamente le prestazioni dei metodi esistenti di riconoscimento degli oggetti e ricostruzione 3D in presenza di occlusioni.
English
We introduce pix2gestalt, a framework for zero-shot amodal segmentation,
which learns to estimate the shape and appearance of whole objects that are
only partially visible behind occlusions. By capitalizing on large-scale
diffusion models and transferring their representations to this task, we learn
a conditional diffusion model for reconstructing whole objects in challenging
zero-shot cases, including examples that break natural and physical priors,
such as art. As training data, we use a synthetically curated dataset
containing occluded objects paired with their whole counterparts. Experiments
show that our approach outperforms supervised baselines on established
benchmarks. Our model can furthermore be used to significantly improve the
performance of existing object recognition and 3D reconstruction methods in the
presence of occlusions.