COCONut-PanCap：ファイングレインド理解と生成のための共同パノプティックセグメンテーションとグラウンデッドキャプション

COCONut-PanCap: Joint Panoptic Segmentation and Grounded Captions for Fine-Grained Understanding and Generation

February 4, 2025

著者: Xueqing Deng, Qihang Yu, Ali Athar, Chenglin Yang, Linjie Yang, Xiaojie Jin, Xiaohui Shen, Liang-Chieh Chen

cs.AI

要旨

本論文では、パノプティックセグメンテーションとグラウンデッド画像キャプショニングを向上させるために作成されたCOCONut-PanCapデータセットを紹介します。COCOデータセットを基盤とし、高度なCOCONutパノプティックマスクを備えたこのデータセットは、従来の画像テキストデータセットの制約を克服することを目指しています。COCONut-PanCapデータセットは、パノプティックセグメンテーションマスクに基づく細かい領域レベルのキャプションを取り入れ、生成されたキャプションの詳細性と一貫性を向上させています。人手による密な注釈付き記述を通じて、COCONut-PanCapは、画像理解のためのビジョン言語モデル（VLMs）の改善されたトレーニングと、テキストから画像へのタスクのための生成モデルをサポートしています。実験結果は、COCONut-PanCapが理解と生成のタスク全体で性能を大幅に向上させ、大規模データセットに補完的な利点を提供していることを示しています。このデータセットは、共同パノプティックセグメンテーションとグラウンデッドキャプショニングタスクでモデルを評価するための新たな基準を設定し、マルチモーダル学習における高品質で詳細な画像テキスト注釈の必要性に対処しています。

English

This paper introduces the COCONut-PanCap dataset, created to enhance panoptic segmentation and grounded image captioning. Building upon the COCO dataset with advanced COCONut panoptic masks, this dataset aims to overcome limitations in existing image-text datasets that often lack detailed, scene-comprehensive descriptions. The COCONut-PanCap dataset incorporates fine-grained, region-level captions grounded in panoptic segmentation masks, ensuring consistency and improving the detail of generated captions. Through human-edited, densely annotated descriptions, COCONut-PanCap supports improved training of vision-language models (VLMs) for image understanding and generative models for text-to-image tasks. Experimental results demonstrate that COCONut-PanCap significantly boosts performance across understanding and generation tasks, offering complementary benefits to large-scale datasets. This dataset sets a new benchmark for evaluating models on joint panoptic segmentation and grounded captioning tasks, addressing the need for high-quality, detailed image-text annotations in multi-modal learning.