COCONut: COCOセグメンテーションの近代化

COCONut: Modernizing COCO Segmentation

April 12, 2024

著者: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

要旨

ここ数十年、視覚認識コミュニティでは、データセットベンチマークの進歩に支えられ、視覚認識分野が著しく進展してきました。特に、確立されたCOCOベンチマークは、現代の検出およびセグメンテーションシステムの発展を推進してきました。しかし、COCOセグメンテーションベンチマークは、過去10年間にわたって比較的緩やかな改善しか見られませんでした。当初は、物体インスタンスに対して粗いポリゴンアノテーションが施されていましたが、その後、スタッフ領域に対して粗いスーパーピクセルアノテーションが徐々に取り入れられ、ヒューリスティックに統合されてパノプティックセグメンテーションアノテーションが生成されました。これらのアノテーションは、異なる評価者グループによって実行されたため、粗いセグメンテーションマスクだけでなく、セグメンテーションタイプ間の不整合も生じました。本研究では、COCOセグメンテーションアノテーションの包括的な再評価を行います。アノテーション品質を向上させ、データセットを拡張して383Kの画像と5.18M以上のパノプティックマスクを包含するCOCONut（COCO Next Universal segmenTation dataset）を紹介します。COCONutは、セマンティック、インスタンス、パノプティックセグメンテーション全体で、慎重に作成された高品質マスクを用いてセグメンテーションアノテーションを調和させ、すべてのセグメンテーションタスクに対する堅牢なベンチマークを確立します。私たちの知る限り、COCONutは、人間の評価者によって検証された初の大規模ユニバーサルセグメンテーションデータセットです。COCONutのリリースが、新しいニューラルネットワークの進歩を評価するコミュニティの能力に大きく貢献することを期待しています。

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.