Szenenzentrierte unüberwachte panoptische Segmentierung

Scene-Centric Unsupervised Panoptic Segmentation

April 2, 2025

Autoren: Oliver Hahn, Christoph Reich, Nikita Araslanov, Daniel Cremers, Christian Rupprecht, Stefan Roth

cs.AI

Zusammenfassung

Unüberwachte panoptische Segmentierung zielt darauf ab, ein Bild in semantisch bedeutungsvolle Regionen und eindeutige Objektinstanzen zu unterteilen, ohne auf manuell annotierte Daten trainiert zu werden. Im Gegensatz zu früheren Arbeiten zur unüberwachten panoptischen Szenenverständigung eliminieren wir die Notwendigkeit von objektzentrierten Trainingsdaten, wodurch das unüberwachte Verständnis komplexer Szenen ermöglicht wird. Zu diesem Zweck präsentieren wir die erste unüberwachte panoptische Methode, die direkt auf szenenzentrierten Bildern trainiert. Insbesondere schlagen wir einen Ansatz vor, um hochauflösende panoptische Pseudolabels auf komplexen szenenzentrierten Daten zu erhalten, indem visuelle Repräsentationen, Tiefen- und Bewegungsinformationen kombiniert werden. Die Nutzung sowohl des Pseudolabel-Trainings als auch einer panoptischen Selbsttrainingsstrategie führt zu einem neuartigen Ansatz, der präzise panoptische Segmentierungen komplexer Szenen vorhersagt, ohne menschliche Annotationen zu benötigen. Unser Ansatz verbessert die panoptische Qualität signifikant und übertrifft beispielsweise den aktuellen Stand der Technik in der unüberwachten panoptischen Segmentierung auf Cityscapes um 9,4 Prozentpunkte in PQ.

English

Unsupervised panoptic segmentation aims to partition an image into semantically meaningful regions and distinct object instances without training on manually annotated data. In contrast to prior work on unsupervised panoptic scene understanding, we eliminate the need for object-centric training data, enabling the unsupervised understanding of complex scenes. To that end, we present the first unsupervised panoptic method that directly trains on scene-centric imagery. In particular, we propose an approach to obtain high-resolution panoptic pseudo labels on complex scene-centric data, combining visual representations, depth, and motion cues. Utilizing both pseudo-label training and a panoptic self-training strategy yields a novel approach that accurately predicts panoptic segmentation of complex scenes without requiring any human annotations. Our approach significantly improves panoptic quality, e.g., surpassing the recent state of the art in unsupervised panoptic segmentation on Cityscapes by 9.4% points in PQ.