Denken met strips: het verbeteren van multimodale redeneervaardigheden door gestructureerd visueel vertellen

Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling

February 2, 2026

Auteurs: Andong Chen, Wenxin Zhu, Qiuyu Ding, Yuchen Song, Muyun Yang, Tiejun Zhao

cs.AI

Samenvatting

Chain-of-Thought-redenering heeft grote taalmodellen ertoe gebracht zich uit te breiden van redeneren met tekst naar redeneren met afbeeldingen en video's. Toch hebben verschillende modaliteiten nog steeds duidelijke beperkingen: statische afbeeldingen kunnen tijdelijke structuren moeilijk weergeven, terwijl video's aanzienlijke redundantie en rekenkosten met zich meebrengen. In dit werk stellen we Denken met Strips voor, een visueel redeneerparadigma dat strips gebruikt als een medium met hoge informatiedichtheid, gepositioneerd tussen afbeeldingen en video's in. Strips behouden tijdelijke structuur, ingebedde tekst en narratieve samenhang, terwijl ze aanzienlijk lagere redeneerkosten vereisen. We bestuderen systematisch twee redeneerpaden op basis van strips en evalueren deze op een reeks redeneertaken en taken voor het begrijpen van lange contexten. Experimentele resultaten tonen aan dat Denken met Strips beter presteert dan Denken met Afbeeldingen bij meerstaps temporele en causale redeneertaken, terwijl het aanzienlijk efficiënter blijft dan Denken met Video. Verdere analyse geeft aan dat verschillende stripnarratieven en stijlen consequent de prestaties over taken heen beïnvloeden, wat suggereert dat strips dienen als een effectieve intermediaire visuele representatie voor het verbeteren van multimodaal redeneren.

English

Chain-of-Thought reasoning has driven large language models to extend from thinking with text to thinking with images and videos. However, different modalities still have clear limitations: static images struggle to represent temporal structure, while videos introduce substantial redundancy and computational cost. In this work, we propose Thinking with Comics, a visual reasoning paradigm that uses comics as a high information-density medium positioned between images and videos. Comics preserve temporal structure, embedded text, and narrative coherence while requiring significantly lower reasoning cost. We systematically study two reasoning paths based on comics and evaluate them on a range of reasoning tasks and long-context understanding tasks. Experimental results show that Thinking with Comics outperforms Thinking with Images on multi-step temporal and causal reasoning tasks, while remaining substantially more efficient than Thinking with Video. Further analysis indicates that different comic narrative structures and styles consistently affect performance across tasks, suggesting that comics serve as an effective intermediate visual representation for improving multimodal reasoning.