COCONut-PanCap: Segmentazione Panottica Coniugata e Didascalie Basate per una Comprensione e Generazione Dettagliata
COCONut-PanCap: Joint Panoptic Segmentation and Grounded Captions for Fine-Grained Understanding and Generation
February 4, 2025
Autori: Xueqing Deng, Qihang Yu, Ali Athar, Chenglin Yang, Linjie Yang, Xiaojie Jin, Xiaohui Shen, Liang-Chieh Chen
cs.AI
Abstract
Questo articolo presenta il dataset COCONut-PanCap, creato per migliorare la segmentazione panottica e la descrizione di immagini basata su contesto. Basandosi sul dataset COCO con maschere panottiche avanzate di COCONut, questo dataset mira a superare le limitazioni nei dataset esistenti immagine-testo che spesso mancano di descrizioni dettagliate e complete della scena. Il dataset COCONut-PanCap incorpora didascalie a livello di regione dettagliate basate su maschere di segmentazione panottica, garantendo coerenza e migliorando il dettaglio delle didascalie generate. Attraverso descrizioni densamente annotate ed edite dall'uomo, COCONut-PanCap supporta il miglioramento dell'addestramento dei modelli visione-linguaggio (VLM) per la comprensione delle immagini e dei modelli generativi per compiti di testo-immagine. I risultati sperimentali dimostrano che COCONut-PanCap migliora significativamente le prestazioni nei compiti di comprensione e generazione, offrendo benefici complementari ai dataset su larga scala. Questo dataset stabilisce un nuovo punto di riferimento per valutare i modelli nei compiti congiunti di segmentazione panottica e descrizione basata su contesto, affrontando la necessità di annotazioni immagine-testo dettagliate e di alta qualità nell'apprendimento multimodale.
English
This paper introduces the COCONut-PanCap dataset, created to enhance panoptic
segmentation and grounded image captioning. Building upon the COCO dataset with
advanced COCONut panoptic masks, this dataset aims to overcome limitations in
existing image-text datasets that often lack detailed, scene-comprehensive
descriptions. The COCONut-PanCap dataset incorporates fine-grained,
region-level captions grounded in panoptic segmentation masks, ensuring
consistency and improving the detail of generated captions. Through
human-edited, densely annotated descriptions, COCONut-PanCap supports improved
training of vision-language models (VLMs) for image understanding and
generative models for text-to-image tasks. Experimental results demonstrate
that COCONut-PanCap significantly boosts performance across understanding and
generation tasks, offering complementary benefits to large-scale datasets. This
dataset sets a new benchmark for evaluating models on joint panoptic
segmentation and grounded captioning tasks, addressing the need for
high-quality, detailed image-text annotations in multi-modal learning.