COCONut: Modernisering van COCO-segmentatie

COCONut: Modernizing COCO Segmentation

April 12, 2024

Auteurs: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Samenvatting

In de afgelopen decennia heeft de visiegemeenschap opmerkelijke vooruitgang geboekt in visuele herkenning, deels dankzij vooruitgang in datasetbenchmarks. Met name de gevestigde COCO-benchmark heeft de ontwikkeling van moderne detectie- en segmentatiesystemen bevorderd. Het COCO-segmentatiebenchmark heeft echter relatief langzame verbeteringen gezien in het afgelopen decennium. Oorspronkelijk uitgerust met grove polygoonannotaties voor objectinstanties, werd het geleidelijk aangevuld met grove superpixelannotaties voor achtergrondregio's, die vervolgens heuristisch werden samengevoegd om panoptische segmentatieannotaties te produceren. Deze annotaties, uitgevoerd door verschillende groepen beoordelaars, hebben niet alleen geleid tot grove segmentatiemaskers, maar ook tot inconsistenties tussen segmentatietypen. In deze studie ondernemen we een uitgebreide herevaluatie van de COCO-segmentatieannotaties. Door de annotatiekwaliteit te verbeteren en de dataset uit te breiden tot 383K afbeeldingen met meer dan 5,18 miljoen panoptische maskers, introduceren we COCONut, de COCO Next Universal segmenTation dataset. COCONut harmoniseert segmentatieannotaties voor semantische, instantie- en panoptische segmentatie met zorgvuldig vervaardigde hoogwaardige maskers en stelt een robuuste benchmark in voor alle segmentatietaken. Voor zover wij weten, is COCONut de eerste grootschalige universele segmentatiedataset die door menselijke beoordelaars is geverifieerd. We verwachten dat de release van COCONut een aanzienlijke bijdrage zal leveren aan het vermogen van de gemeenschap om de vooruitgang van nieuwe neurale netwerken te beoordelen.

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.