Denken mit Comics: Förderung des multimodalen Denkens durch strukturiertes visuelles Storytelling

Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling

February 2, 2026

papers.authors: Andong Chen, Wenxin Zhu, Qiuyu Ding, Yuchen Song, Muyun Yang, Tiejun Zhao

cs.AI

papers.abstract

Chain-of-Thought-Reasoning hat große Sprachmodelle dazu gebracht, vom Denken mit Text zum Denken mit Bildern und Videos überzugehen. Allerdings weisen verschiedene Modalitäten nach wie vor deutliche Einschränkungen auf: Statische Bilder können zeitliche Strukturen nur unzureichend abbilden, während Videos erhebliche Redundanzen und Rechenkosten verursachen. In dieser Arbeit schlagen wir „Thinking with Comics“ vor – ein Paradigma des visuellen Denkens, das Comics als medium mit hoher Informationsdichte zwischen Bildern und Videos positioniert. Comics bewahren zeitliche Strukturen, eingebetteten Text und narrative Kohärenz, erfordern dabei jedoch deutlich geringere Denkkosten. Wir untersuchen systematisch zwei auf Comics basierende Denkpfade und evaluieren diese anhand einer Reihe von Denkaufgaben und Aufgaben zum Verständnis langer Kontexte. Experimentelle Ergebnisse zeigen, dass „Thinking with Comics“ bei mehrstufigen zeitlichen und kausalen Denkaufgaben besser abschneidet als „Thinking with Images“, während es gleichzeitig erheblich effizienter bleibt als „Thinking with Video“. Weitere Analysen zeigen, dass verschiedene Comic-Erzählstrukturen und -stile die Leistung über verschiedene Aufgaben hinweg konsistent beeinflussen, was darauf hindeutet, dass Comics als effektive visuelle Zwischendarstellung zur Verbesserung multimodalen Denkens dienen.

English

Chain-of-Thought reasoning has driven large language models to extend from thinking with text to thinking with images and videos. However, different modalities still have clear limitations: static images struggle to represent temporal structure, while videos introduce substantial redundancy and computational cost. In this work, we propose Thinking with Comics, a visual reasoning paradigm that uses comics as a high information-density medium positioned between images and videos. Comics preserve temporal structure, embedded text, and narrative coherence while requiring significantly lower reasoning cost. We systematically study two reasoning paths based on comics and evaluate them on a range of reasoning tasks and long-context understanding tasks. Experimental results show that Thinking with Comics outperforms Thinking with Images on multi-step temporal and causal reasoning tasks, while remaining substantially more efficient than Thinking with Video. Further analysis indicates that different comic narrative structures and styles consistently affect performance across tasks, suggesting that comics serve as an effective intermediate visual representation for improving multimodal reasoning.