COCONut: Modernisierung der COCO-Segmentierung

COCONut: Modernizing COCO Segmentation

April 12, 2024

Autoren: Xueqing Deng, Qihang Yu, Peng Wang, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Zusammenfassung

In den letzten Jahrzehnten hat die Vision-Community bemerkenswerte Fortschritte bei der visuellen Erkennung verzeichnet, teilweise aufgrund von Fortschritten bei Benchmark-Datensätzen. Insbesondere hat der etablierte COCO-Benchmark die Entwicklung moderner Detektions- und Segmentierungssysteme vorangetrieben. Allerdings hat der COCO-Segmentierungsbenchmark in den letzten zehn Jahren vergleichsweise langsame Verbesserungen erfahren. Ursprünglich ausgestattet mit groben Polygonannotationen für Objektinstanzen, hat er allmählich grobe Superpixelannotationen für Bereichsregionen integriert, die anschließend heuristisch vereinigt wurden, um Panoptik-Segmentierungsannotationen zu erzeugen. Diese Annotationen, von verschiedenen Gruppen von Bewertern ausgeführt, haben nicht nur zu groben Segmentierungsmasken geführt, sondern auch zu Inkonsistenzen zwischen den Segmentierungstypen. In dieser Studie unterziehen wir die COCO-Segmentierungsannotationen einer umfassenden Neubewertung. Durch Verbesserung der Annotationsqualität und Erweiterung des Datensatzes auf 383.000 Bilder mit mehr als 5,18 Millionen Panoptikmasken stellen wir COCONut vor, den COCO Next Universal Segmentation-Datensatz. COCONut harmonisiert Segmentierungsannotationen über semantische, Instanz- und Panoptiksegmentierung hinweg mit sorgfältig erstellten hochwertigen Masken und etabliert einen robusten Benchmark für alle Segmentierungsaufgaben. Unseres Wissens nach ist COCONut der erste groß angelegte universelle Segmentierungsd atensatz, der von menschlichen Bewertern überprüft wurde. Wir erwarten, dass die Veröffentlichung von COCONut wesentlich dazu beitragen wird, die Fähigkeit der Community zur Bewertung des Fortschritts von neuartigen neuronalen Netzwerken zu verbessern.

English

In recent decades, the vision community has witnessed remarkable progress in visual recognition, partially owing to advancements in dataset benchmarks. Notably, the established COCO benchmark has propelled the development of modern detection and segmentation systems. However, the COCO segmentation benchmark has seen comparatively slow improvement over the last decade. Originally equipped with coarse polygon annotations for thing instances, it gradually incorporated coarse superpixel annotations for stuff regions, which were subsequently heuristically amalgamated to yield panoptic segmentation annotations. These annotations, executed by different groups of raters, have resulted not only in coarse segmentation masks but also in inconsistencies between segmentation types. In this study, we undertake a comprehensive reevaluation of the COCO segmentation annotations. By enhancing the annotation quality and expanding the dataset to encompass 383K images with more than 5.18M panoptic masks, we introduce COCONut, the COCO Next Universal segmenTation dataset. COCONut harmonizes segmentation annotations across semantic, instance, and panoptic segmentation with meticulously crafted high-quality masks, and establishes a robust benchmark for all segmentation tasks. To our knowledge, COCONut stands as the inaugural large-scale universal segmentation dataset, verified by human raters. We anticipate that the release of COCONut will significantly contribute to the community's ability to assess the progress of novel neural networks.