Мышление с помощью комиксов: развитие мультимодального мышления через структурированное визуальное повествование

Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling

February 2, 2026

Авторы: Andong Chen, Wenxin Zhu, Qiuyu Ding, Yuchen Song, Muyun Yang, Tiejun Zhao

cs.AI

Аннотация

Цепрассуждение (Chain-of-Thought) позволило большим языковым моделям перейти от мышления с помощью текста к мышлению с помощью изображений и видео. Однако у разных модальностей сохраняются явные ограничения: статичные изображения плохо передают временную структуру, а видео вносят значительную избыточность и вычислительные затраты. В данной работе мы предлагаем «Мышление с помощью комиксов» — парадигму визуального рассуждения, которая использует комиксы как среду с высокой плотностью информации, занимающую промежуточное положение между изображениями и видео. Комиксы сохраняют временную структуру, встроенный текст и нарративную связность, требуя при этом значительно меньших вычислительных затрат на рассуждение. Мы систематически исследуем два пути рассуждения на основе комиксов и оцениваем их на ряде задач логического вывода и задач понимания длинного контекста. Результаты экспериментов показывают, что «Мышление с помощью комиксов» превосходит «Мышление с помощью изображений» в многошаговых задачах временного и причинно-следственного рассуждения, оставаясь при этом существенно более эффективным, чем «Мышление с помощью видео». Дальнейший анализ указывает на то, что различные нарративные структуры и стили комиксов последовательно влияют на результаты across задачами, что позволяет предположить, что комиксы служат эффективным промежуточным визуальным представлением для улучшения мультимодального рассуждения.

English

Chain-of-Thought reasoning has driven large language models to extend from thinking with text to thinking with images and videos. However, different modalities still have clear limitations: static images struggle to represent temporal structure, while videos introduce substantial redundancy and computational cost. In this work, we propose Thinking with Comics, a visual reasoning paradigm that uses comics as a high information-density medium positioned between images and videos. Comics preserve temporal structure, embedded text, and narrative coherence while requiring significantly lower reasoning cost. We systematically study two reasoning paths based on comics and evaluate them on a range of reasoning tasks and long-context understanding tasks. Experimental results show that Thinking with Comics outperforms Thinking with Images on multi-step temporal and causal reasoning tasks, while remaining substantially more efficient than Thinking with Video. Further analysis indicates that different comic narrative structures and styles consistently affect performance across tasks, suggesting that comics serve as an effective intermediate visual representation for improving multimodal reasoning.