Коконут: Модернизация сегментации COCO

COCONut: Modernizing COCO Segmentation

April 12, 2024

Авторы: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Аннотация

В последние десятилетия сообщество зрения свидетельствовало о замечательном прогрессе в области визуального распознавания, частично благодаря усовершенствованию наборов данных для оценки. Особенно стоит отметить, что установленный набор данных COCO способствовал развитию современных систем обнаружения и сегментации. Однако сегментационный набор данных COCO за последнее десятилетие продемонстрировал относительно медленное улучшение. Изначально оборудованный грубыми аннотациями полигонов для экземпляров объектов, он постепенно включал грубые аннотации суперпикселей для областей материи, которые затем эвристически объединялись для получения аннотаций паноптической сегментации. Эти аннотации, выполненные различными группами аннотаторов, привели не только к грубым маскам сегментации, но и к несоответствиям между типами сегментации. В данном исследовании мы предпринимаем всестороннюю переоценку аннотаций сегментации COCO. Улучшая качество аннотаций и расширяя набор данных до 383 тыс. изображений с более чем 5,18 млн паноптических масок, мы представляем COCONut, следующий универсальный набор данных по сегментации COCO. COCONut гармонизирует аннотации сегментации для семантической, экземплярной и паноптической сегментации с тщательно разработанными высококачественными масками и устанавливает надежный стандарт для всех задач сегментации. На наш взгляд, COCONut является первоначальным крупномасштабным универсальным набором данных по сегментации, проверенным человеческими аннотаторами. Мы ожидаем, что выпуск COCONut значительно способствует способности сообщества оценивать прогресс новых нейронных сетей.

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.