Scene-Gecentreerde Ongecontroleerde Panoptische Segmentatie

Scene-Centric Unsupervised Panoptic Segmentation

April 2, 2025

Auteurs: Oliver Hahn, Christoph Reich, Nikita Araslanov, Daniel Cremers, Christian Rupprecht, Stefan Roth

cs.AI

Samenvatting

Onbewaakte panoptische segmentatie heeft als doel een afbeelding op te delen in semantisch betekenisvolle regio's en afzonderlijke objectinstanties zonder training op handmatig geannoteerde data. In tegenstelling tot eerder werk op het gebied van onbewaakte panoptische scènebegrip, elimineren we de noodzaak voor objectgerichte trainingsdata, waardoor het onbewaakte begrip van complexe scènes mogelijk wordt. Hiertoe presenteren we de eerste onbewaakte panoptische methode die direct traint op scènegerichte afbeeldingen. In het bijzonder stellen we een aanpak voor om hoogwaardige panoptische pseudo-labels te verkrijgen op complexe scènegerichte data, waarbij visuele representaties, diepte en bewegingssignalen worden gecombineerd. Door zowel pseudo-labeltraining als een panoptische zelf-trainingsstrategie te benutten, ontstaat een nieuwe aanpak die nauwkeurig panoptische segmentatie van complexe scènes voorspelt zonder enige menselijke annotaties te vereisen. Onze aanpak verbetert de panoptische kwaliteit aanzienlijk, bijvoorbeeld door de recente state-of-the-art in onbewaakte panoptische segmentatie op Cityscapes met 9,4 procentpunt in PQ te overtreffen.

English

Unsupervised panoptic segmentation aims to partition an image into semantically meaningful regions and distinct object instances without training on manually annotated data. In contrast to prior work on unsupervised panoptic scene understanding, we eliminate the need for object-centric training data, enabling the unsupervised understanding of complex scenes. To that end, we present the first unsupervised panoptic method that directly trains on scene-centric imagery. In particular, we propose an approach to obtain high-resolution panoptic pseudo labels on complex scene-centric data, combining visual representations, depth, and motion cues. Utilizing both pseudo-label training and a panoptic self-training strategy yields a novel approach that accurately predicts panoptic segmentation of complex scenes without requiring any human annotations. Our approach significantly improves panoptic quality, e.g., surpassing the recent state of the art in unsupervised panoptic segmentation on Cityscapes by 9.4% points in PQ.