Сцен-центричная неконтролируемая панорамная сегментация

Scene-Centric Unsupervised Panoptic Segmentation

April 2, 2025

Авторы: Oliver Hahn, Christoph Reich, Nikita Araslanov, Daniel Cremers, Christian Rupprecht, Stefan Roth

cs.AI

Аннотация

Независимая панорамная сегментация ставит целью разделение изображения на семантически значимые области и отдельные экземпляры объектов без обучения на данных с ручной разметкой. В отличие от предыдущих работ по независимому панорамному пониманию сцен, мы устраняем необходимость в объектно-ориентированных обучающих данных, что позволяет независимо понимать сложные сцены. Для этого мы представляем первый метод независимой панорамной сегментации, который напрямую обучается на сценово-ориентированных изображениях. В частности, мы предлагаем подход для получения высококачественных псевдоразметок панорамной сегментации на сложных сценово-ориентированных данных, объединяя визуальные представления, данные о глубине и движении. Использование как обучения на псевдоразметках, так и стратегии самодообучения для панорамной сегментации приводит к новому подходу, который точно предсказывает панорамную сегментацию сложных сцен без необходимости в каких-либо человеческих аннотациях. Наш подход значительно улучшает качество панорамной сегментации, например, превосходя последние достижения в независимой панорамной сегментации на наборе данных Cityscapes на 9,4 процентных пункта по метрике PQ.

English

Unsupervised panoptic segmentation aims to partition an image into semantically meaningful regions and distinct object instances without training on manually annotated data. In contrast to prior work on unsupervised panoptic scene understanding, we eliminate the need for object-centric training data, enabling the unsupervised understanding of complex scenes. To that end, we present the first unsupervised panoptic method that directly trains on scene-centric imagery. In particular, we propose an approach to obtain high-resolution panoptic pseudo labels on complex scene-centric data, combining visual representations, depth, and motion cues. Utilizing both pseudo-label training and a panoptic self-training strategy yields a novel approach that accurately predicts panoptic segmentation of complex scenes without requiring any human annotations. Our approach significantly improves panoptic quality, e.g., surpassing the recent state of the art in unsupervised panoptic segmentation on Cityscapes by 9.4% points in PQ.