pix2gestalt: Segmentação Amodal pela Síntese de Totalidades
pix2gestalt: Amodal Segmentation by Synthesizing Wholes
January 25, 2024
Autores: Ege Ozguroglu, Ruoshi Liu, Dídac Surís, Dian Chen, Achal Dave, Pavel Tokmakov, Carl Vondrick
cs.AI
Resumo
Apresentamos o pix2gestalt, uma estrutura para segmentação amodal de zero-shot, que aprende a estimar a forma e a aparência de objetos inteiros que estão apenas parcialmente visíveis atrás de oclusões. Ao aproveitar modelos de difusão em larga escala e transferir suas representações para essa tarefa, aprendemos um modelo de difusão condicional para reconstruir objetos inteiros em casos desafiadores de zero-shot, incluindo exemplos que quebram prioridades naturais e físicas, como arte. Como dados de treinamento, usamos um conjunto de dados sinteticamente curado contendo objetos ocluídos pareados com suas contrapartes inteiras. Experimentos mostram que nossa abordagem supera baselines supervisionadas em benchmarks estabelecidos. Nosso modelo pode ainda ser usado para melhorar significativamente o desempenho de métodos existentes de reconhecimento de objetos e reconstrução 3D na presença de oclusões.
English
We introduce pix2gestalt, a framework for zero-shot amodal segmentation,
which learns to estimate the shape and appearance of whole objects that are
only partially visible behind occlusions. By capitalizing on large-scale
diffusion models and transferring their representations to this task, we learn
a conditional diffusion model for reconstructing whole objects in challenging
zero-shot cases, including examples that break natural and physical priors,
such as art. As training data, we use a synthetically curated dataset
containing occluded objects paired with their whole counterparts. Experiments
show that our approach outperforms supervised baselines on established
benchmarks. Our model can furthermore be used to significantly improve the
performance of existing object recognition and 3D reconstruction methods in the
presence of occlusions.