ビジョンと言語における1つの欠けている要素：コミックに関する調査

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

著者: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

要旨

ビジョン言語モデルは、最近、文書理解、視覚的質問応答、およびゼロショット設定でしばしば高いパフォーマンスを発揮するなど、さまざまなタスクに対応できる多目的システムに進化してきました。コミック理解は、複雑で多面的な分野であり、これらの進歩から大きな恩恵を受ける可能性があります。コミックは、豊かな視覚的およびテキストの物語を組み合わせたメディアであり、画像分類、物体検出、インスタンスセグメンテーション、および連続パネルを通じたより深い物語理解にわたるタスクでAIモデルに挑戦します。ただし、コミックの独自の構造は、スタイル、読み取り順序、および非線形の物語の創造的な変化を特徴とし、他の視覚言語領域とは異なる一連の課題を提示しています。この調査では、データセットとタスクの両面からコミック理解について包括的なレビューを行います。私たちの貢献は以下の5つです：（1）コミックメディアの構造を分析し、その独特の構成要素を詳細に説明します；（2）コミック研究で広く使用されているデータセットとタスクを調査し、その分野の進歩における役割を強調します；（3）Comics Understanding（LoCU）フレームワークを紹介し、コミック内のビジョン言語タスクを再定義し、将来の作業の基盤を築きます；（4）既存の方法をLoCUフレームワークに従って詳細にレビューおよび分類します；（5）最後に、現在の研究課題を強調し、特にコミックに適用されたビジョン言語モデルの文脈で、将来の探究方向を提案します。この調査は、コミック知能のためのタスク指向フレームワークを提案した最初のものであり、データの入手可能性とタスク定義における重要なギャップに対処することで、将来の研究を導くことを目指しています。この調査に関連するプロジェクトは、https://github.com/emanuelevivoli/awesome-comics-understanding で利用可能です。

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.