COCONut: Modernización de la segmentación COCO

COCONut: Modernizing COCO Segmentation

April 12, 2024

Autores: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Resumen

En las últimas décadas, la comunidad de visión por computadora ha sido testigo de avances notables en el reconocimiento visual, en parte gracias a los progresos en los benchmarks de conjuntos de datos. En particular, el establecido benchmark COCO ha impulsado el desarrollo de sistemas modernos de detección y segmentación. Sin embargo, el benchmark de segmentación de COCO ha experimentado una mejora comparativamente lenta en la última década. Originalmente equipado con anotaciones de polígonos aproximados para instancias de objetos, gradualmente incorporó anotaciones de superpíxeles aproximados para regiones de fondo, que posteriormente se amalgamaron heurísticamente para producir anotaciones de segmentación panóptica. Estas anotaciones, realizadas por diferentes grupos de evaluadores, han resultado no solo en máscaras de segmentación aproximadas, sino también en inconsistencias entre los tipos de segmentación. En este estudio, llevamos a cabo una reevaluación exhaustiva de las anotaciones de segmentación de COCO. Al mejorar la calidad de las anotaciones y ampliar el conjunto de datos para abarcar 383K imágenes con más de 5.18M máscaras panópticas, presentamos COCONut, el conjunto de datos COCO Next Universal segmenTation. COCONut armoniza las anotaciones de segmentación en segmentación semántica, de instancias y panóptica con máscaras de alta calidad meticulosamente elaboradas, y establece un benchmark sólido para todas las tareas de segmentación. Hasta donde sabemos, COCONut se erige como el primer conjunto de datos de segmentación universal a gran escala, verificado por evaluadores humanos. Anticipamos que el lanzamiento de COCONut contribuirá significativamente a la capacidad de la comunidad para evaluar el progreso de nuevas redes neuronales.

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.