COCONut: COCO 세분화 현대화

COCONut: Modernizing COCO Segmentation

April 12, 2024

저자: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

초록

최근 수십 년 동안, 비전 커뮤니티는 데이터셋 벤치마크의 발전으로 인해 시각 인식 분야에서 놀라운 진전을 목격했습니다. 특히, 확립된 COCO 벤치마크는 현대적인 탐지 및 분할 시스템의 발전을 촉진했습니다. 그러나 COCO 분할 벤치마크는 지난 10년 동안 비교적 느린 개선을 보여왔습니다. 원래 사물 인스턴스에 대한 거친 다각형 주석으로 시작하여, 점차적으로 스터프 영역에 대한 거친 슈퍼픽셀 주석을 포함하게 되었고, 이는 이후 휴리스틱적으로 통합되어 팬옵틱 분할 주석을 생성했습니다. 이러한 주석은 서로 다른 평가자 그룹에 의해 실행되었으며, 거친 분할 마스크뿐만 아니라 분할 유형 간의 불일치를 초래했습니다. 본 연구에서는 COCO 분할 주석에 대한 포괄적인 재평가를 수행합니다. 주석 품질을 향상시키고 데이터셋을 383K 이미지와 5.18M 이상의 팬옵틱 마스크로 확장함으로써, COCO Next Universal segmenTation 데이터셋인 COCONut를 소개합니다. COCONut는 세심하게 제작된 고품질 마스크를 통해 의미론적, 인스턴스, 팬옵틱 분할 간의 주석을 조화시키고, 모든 분할 작업을 위한 견고한 벤치마크를 확립합니다. 우리가 아는 한, COCONut는 인간 평가자에 의해 검증된 최초의 대규모 범용 분할 데이터셋입니다. COCONut의 출시가 새로운 신경망의 진전을 평가하는 커뮤니티의 능력에 크게 기여할 것으로 기대합니다.

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.