Waarom Redeneren Belangrijk Is? Een Overzicht van Vooruitgang in Multimodaal Redeneren (v1)

Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)

April 4, 2025

Auteurs: Jing Bi, Susan Liang, Xiaofei Zhou, Pinxin Liu, Junjia Guo, Yunlong Tang, Luchuan Song, Chao Huang, Guangyu Sun, Jinxi He, Jiarui Wu, Shu Yang, Daoan Zhang, Chen Chen, Lianggong Bruce Wen, Zhang Liu, Jiebo Luo, Chenliang Xu

cs.AI

Samenvatting

Redeneren staat centraal in de menselijke intelligentie en maakt gestructureerd probleemoplossen mogelijk in diverse taken. Recente vooruitgang in grote taalmodellen (LLMs) heeft hun redeneervaardigheden aanzienlijk verbeterd op het gebied van rekenkunde, gezond verstand en symbolische domeinen. Het effectief uitbreiden van deze capaciteiten naar multimodale contexten—waarbij modellen zowel visuele als tekstuele input moeten integreren—blijft echter een aanzienlijke uitdaging. Multimodaal redeneren introduceert complexiteiten, zoals het omgaan met tegenstrijdige informatie tussen modaliteiten, wat vereist dat modellen geavanceerde interpretatiestrategieën toepassen. Het aanpakken van deze uitdagingen vereist niet alleen geavanceerde algoritmen, maar ook robuuste methodologieën voor het evalueren van de nauwkeurigheid en samenhang van het redeneren. Dit artikel biedt een beknopt maar inzichtelijk overzicht van redeneertechnieken in zowel tekstuele als multimodale LLMs. Door een grondige en actuele vergelijking formuleren we duidelijk de kernuitdagingen en -mogelijkheden op het gebied van redeneren, waarbij we praktische methoden voor post-training optimalisatie en test-time inferentie belichten. Ons werk biedt waardevolle inzichten en richtlijnen, verbindt theoretische kaders met praktische implementaties, en zet duidelijke richtingen uit voor toekomstig onderzoek.

English

Reasoning is central to human intelligence, enabling structured problem-solving across diverse tasks. Recent advances in large language models (LLMs) have greatly enhanced their reasoning abilities in arithmetic, commonsense, and symbolic domains. However, effectively extending these capabilities into multimodal contexts-where models must integrate both visual and textual inputs-continues to be a significant challenge. Multimodal reasoning introduces complexities, such as handling conflicting information across modalities, which require models to adopt advanced interpretative strategies. Addressing these challenges involves not only sophisticated algorithms but also robust methodologies for evaluating reasoning accuracy and coherence. This paper offers a concise yet insightful overview of reasoning techniques in both textual and multimodal LLMs. Through a thorough and up-to-date comparison, we clearly formulate core reasoning challenges and opportunities, highlighting practical methods for post-training optimization and test-time inference. Our work provides valuable insights and guidance, bridging theoretical frameworks and practical implementations, and sets clear directions for future research.