COCONut: Modernizando a Segmentação COCO

COCONut: Modernizing COCO Segmentation

April 12, 2024

Autores: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Resumo

Nas últimas décadas, a comunidade de visão computacional testemunhou progressos notáveis em reconhecimento visual, em parte devido aos avanços em benchmarks de conjuntos de dados. Notavelmente, o estabelecido benchmark COCO impulsionou o desenvolvimento de sistemas modernos de detecção e segmentação. No entanto, o benchmark de segmentação do COCO tem apresentado uma melhoria comparativamente lenta na última década. Originalmente equipado com anotações de polígonos grosseiros para instâncias de objetos, ele gradualmente incorporou anotações de superpixels grosseiros para regiões de fundo, que foram subsequentemente amalgamadas heuristicamente para produzir anotações de segmentação panóptica. Essas anotações, executadas por diferentes grupos de avaliadores, resultaram não apenas em máscaras de segmentação grosseiras, mas também em inconsistências entre os tipos de segmentação. Neste estudo, realizamos uma reavaliação abrangente das anotações de segmentação do COCO. Ao aprimorar a qualidade das anotações e expandir o conjunto de dados para abranger 383 mil imagens com mais de 5,18 milhões de máscaras panópticas, introduzimos o COCONut, o COCO Next Universal segmenTation dataset. O COCONut harmoniza as anotações de segmentação em segmentação semântica, de instância e panóptica com máscaras de alta qualidade meticulosamente elaboradas, e estabelece um benchmark robusto para todas as tarefas de segmentação. Até onde sabemos, o COCONut é o primeiro conjunto de dados de segmentação universal em larga escala, verificado por avaliadores humanos. Antecipamos que o lançamento do COCONut contribuirá significativamente para a capacidade da comunidade de avaliar o progresso de novas redes neurais.

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.