シーン中心型教師なしパノプティックセグメンテーション

Scene-Centric Unsupervised Panoptic Segmentation

April 2, 2025

著者: Oliver Hahn, Christoph Reich, Nikita Araslanov, Daniel Cremers, Christian Rupprecht, Stefan Roth

cs.AI

要旨

教師なしパノプティックセグメンテーションは、手動でアノテーションされたデータを用いたトレーニングなしに、画像を意味的に有意義な領域と個別のオブジェクトインスタンスに分割することを目指す。従来の教師なしパノプティックシーン理解の研究とは異なり、本手法ではオブジェクト中心のトレーニングデータを必要とせず、複雑なシーンの教師なし理解を可能にする。そのために、シーン中心の画像データを直接トレーニングする初の教師なしパノプティック手法を提案する。具体的には、視覚表現、深度、およびモーションの手がかりを組み合わせることで、複雑なシーン中心データに対する高解像度のパノプティック擬似ラベルを取得するアプローチを提案する。擬似ラベルトレーニングとパノプティック自己学習戦略の両方を活用することで、人間のアノテーションを一切必要とせずに複雑なシーンのパノプティックセグメンテーションを正確に予測する新規手法を実現する。本手法はパノプティック品質を大幅に向上させ、例えばCityscapesデータセットにおける教師なしパノプティックセグメンテーションの最新技術をPQスコアで9.4%ポイント上回る成果を示す。

English

Unsupervised panoptic segmentation aims to partition an image into semantically meaningful regions and distinct object instances without training on manually annotated data. In contrast to prior work on unsupervised panoptic scene understanding, we eliminate the need for object-centric training data, enabling the unsupervised understanding of complex scenes. To that end, we present the first unsupervised panoptic method that directly trains on scene-centric imagery. In particular, we propose an approach to obtain high-resolution panoptic pseudo labels on complex scene-centric data, combining visual representations, depth, and motion cues. Utilizing both pseudo-label training and a panoptic self-training strategy yields a novel approach that accurately predicts panoptic segmentation of complex scenes without requiring any human annotations. Our approach significantly improves panoptic quality, e.g., surpassing the recent state of the art in unsupervised panoptic segmentation on Cityscapes by 9.4% points in PQ.