Una pieza faltante en Visión y Lenguaje: Un Estudio sobre la Comprensión de Cómics

One missing piece in Vision and Language: A Survey on Comics Understanding

September 14, 2024

Autores: Emanuele Vivoli, Andrey Barsky, Mohamed Ali Souibgui, Artemis LLabres, Marco Bertini, Dimosthenis Karatzas

cs.AI

Resumen

Los modelos de visión y lenguaje han evolucionado recientemente en sistemas versátiles capaces de un alto rendimiento en una variedad de tareas, como comprensión de documentos, respuesta a preguntas visuales y fundamentos, a menudo en entornos de cero disparo. La comprensión de cómics, un campo complejo y multifacético, tiene mucho que beneficiarse de estos avances. Los cómics, como medio, combinan narrativas visuales y textuales ricas, desafiando a los modelos de IA con tareas que abarcan desde clasificación de imágenes, detección de objetos, segmentación de instancias, hasta una comprensión narrativa más profunda a través de viñetas secuenciales. Sin embargo, la estructura única de los cómics, caracterizada por variaciones creativas en estilo, orden de lectura y narrativa no lineal, presenta un conjunto de desafíos distintos de los de otros dominios de visión y lenguaje. En esta encuesta, presentamos una revisión exhaustiva de la Comprensión de Cómics desde las perspectivas de conjunto de datos y tarea. Nuestras contribuciones son cinco: (1) Analizamos la estructura del medio de los cómics, detallando sus elementos compositivos distintivos; (2) Revisamos los conjuntos de datos y tareas ampliamente utilizados en la investigación de cómics, enfatizando su papel en el avance del campo; (3) Presentamos el marco de trabajo Capa de Comprensión de Cómics (LoCU), una taxonomía novedosa que redefine las tareas de visión y lenguaje dentro de los cómics y sienta las bases para trabajos futuros; (4) Proporcionamos una revisión detallada y categorización de los métodos existentes siguiendo el marco de LoCU; (5) Finalmente, destacamos los desafíos actuales de investigación y proponemos direcciones para futuras exploraciones, especialmente en el contexto de modelos de visión y lenguaje aplicados a cómics. Esta encuesta es la primera en proponer un marco de trabajo orientado a tareas para la inteligencia en cómics y tiene como objetivo guiar la investigación futura abordando brechas críticas en la disponibilidad de datos y definición de tareas. Un proyecto asociado con esta encuesta está disponible en https://github.com/emanuelevivoli/awesome-comics-understanding.

English

Vision-language models have recently evolved into versatile systems capable of high performance across a range of tasks, such as document understanding, visual question answering, and grounding, often in zero-shot settings. Comics Understanding, a complex and multifaceted field, stands to greatly benefit from these advances. Comics, as a medium, combine rich visual and textual narratives, challenging AI models with tasks that span image classification, object detection, instance segmentation, and deeper narrative comprehension through sequential panels. However, the unique structure of comics -- characterized by creative variations in style, reading order, and non-linear storytelling -- presents a set of challenges distinct from those in other visual-language domains. In this survey, we present a comprehensive review of Comics Understanding from both dataset and task perspectives. Our contributions are fivefold: (1) We analyze the structure of the comics medium, detailing its distinctive compositional elements; (2) We survey the widely used datasets and tasks in comics research, emphasizing their role in advancing the field; (3) We introduce the Layer of Comics Understanding (LoCU) framework, a novel taxonomy that redefines vision-language tasks within comics and lays the foundation for future work; (4) We provide a detailed review and categorization of existing methods following the LoCU framework; (5) Finally, we highlight current research challenges and propose directions for future exploration, particularly in the context of vision-language models applied to comics. This survey is the first to propose a task-oriented framework for comics intelligence and aims to guide future research by addressing critical gaps in data availability and task definition. A project associated with this survey is available at https://github.com/emanuelevivoli/awesome-comics-understanding.