COCONet-PanCap: Gemeinsame Panoptische Segmentierung und Fundierte Bildunterschriften für Feinkörniges Verstehen und Generierung

COCONut-PanCap: Joint Panoptic Segmentation and Grounded Captions for Fine-Grained Understanding and Generation

February 4, 2025

Autoren: Xueqing Deng, Qihang Yu, Ali Athar, Chenglin Yang, Linjie Yang, Xiaojie Jin, Xiaohui Shen, Liang-Chieh Chen

cs.AI

Zusammenfassung

Dieses Papier stellt das COCONut-PanCap-Datenset vor, das entwickelt wurde, um die panoptische Segmentierung und die verankerte Bildunterschrift zu verbessern. Aufbauend auf dem COCO-Datenset mit fortschrittlichen COCONut-Panoptikmasken zielt dieses Datenset darauf ab, Einschränkungen in bestehenden Bild-Text-Datensätzen zu überwinden, die oft an detaillierten, szenenübergreifenden Beschreibungen fehlen. Das COCONut-PanCap-Datenset integriert feingliedrige, regionsbezogene Bildunterschriften, die auf panoptischen Segmentierungsmasken basieren, um Konsistenz sicherzustellen und die Detailgenauigkeit der generierten Bildunterschriften zu verbessern. Durch menschenbearbeitete, dicht annotierte Beschreibungen unterstützt COCONut-PanCap das verbesserte Training von Bildsprachmodellen (VLMs) für die Bildverarbeitung und generativen Modellen für Text-zu-Bild-Aufgaben. Experimentelle Ergebnisse zeigen, dass COCONut-PanCap die Leistung bei Verständnis- und Generierungsaufgaben signifikant steigert und ergänzende Vorteile gegenüber groß angelegten Datensätzen bietet. Dieses Datenset setzt einen neuen Maßstab für die Bewertung von Modellen bei gemeinsamen panoptischen Segmentierungs- und verankerten Bildunterschriftsaufgaben und adressiert den Bedarf an hochwertigen, detaillierten Bild-Text-Anmerkungen im multimodalen Lernen.

English

This paper introduces the COCONut-PanCap dataset, created to enhance panoptic segmentation and grounded image captioning. Building upon the COCO dataset with advanced COCONut panoptic masks, this dataset aims to overcome limitations in existing image-text datasets that often lack detailed, scene-comprehensive descriptions. The COCONut-PanCap dataset incorporates fine-grained, region-level captions grounded in panoptic segmentation masks, ensuring consistency and improving the detail of generated captions. Through human-edited, densely annotated descriptions, COCONut-PanCap supports improved training of vision-language models (VLMs) for image understanding and generative models for text-to-image tasks. Experimental results demonstrate that COCONut-PanCap significantly boosts performance across understanding and generation tasks, offering complementary benefits to large-scale datasets. This dataset sets a new benchmark for evaluating models on joint panoptic segmentation and grounded captioning tasks, addressing the need for high-quality, detailed image-text annotations in multi-modal learning.