COCONut : Modernisation de la segmentation COCO

COCONut: Modernizing COCO Segmentation

April 12, 2024

Auteurs: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Résumé

Au cours des dernières décennies, la communauté de la vision par ordinateur a assisté à des progrès remarquables en matière de reconnaissance visuelle, en partie grâce aux avancées dans les benchmarks de jeux de données. Notamment, le benchmark établi de COCO a propulsé le développement des systèmes modernes de détection et de segmentation. Cependant, le benchmark de segmentation de COCO a connu une amélioration relativement lente au cours de la dernière décennie. Initialement équipé d'annotations polygonales grossières pour les instances d'objets, il a progressivement intégré des annotations de superpixels grossières pour les régions de fond, qui ont ensuite été amalgamées de manière heuristique pour produire des annotations de segmentation panoptique. Ces annotations, réalisées par différents groupes d'annotateurs, ont non seulement abouti à des masques de segmentation grossiers, mais aussi à des incohérences entre les types de segmentation. Dans cette étude, nous entreprenons une réévaluation complète des annotations de segmentation de COCO. En améliorant la qualité des annotations et en étendant le jeu de données pour inclure 383K images avec plus de 5,18 millions de masques panoptiques, nous introduisons COCONut, le COCO Next Universal segmenTation dataset. COCONut harmonise les annotations de segmentation à travers la segmentation sémantique, d'instance et panoptique avec des masques de haute qualité soigneusement élaborés, et établit un benchmark robuste pour toutes les tâches de segmentation. À notre connaissance, COCONut est le premier jeu de données de segmentation universelle à grande échelle, vérifié par des annotateurs humains. Nous anticipons que la publication de COCONut contribuera de manière significative à la capacité de la communauté à évaluer les progrès des nouveaux réseaux neuronaux.

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.