Por que o Raciocínio Importa? Uma Análise dos Avanços no Raciocínio Multimodal (v1)
Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)
April 4, 2025
Autores: Jing Bi, Susan Liang, Xiaofei Zhou, Pinxin Liu, Junjia Guo, Yunlong Tang, Luchuan Song, Chao Huang, Guangyu Sun, Jinxi He, Jiarui Wu, Shu Yang, Daoan Zhang, Chen Chen, Lianggong Bruce Wen, Zhang Liu, Jiebo Luo, Chenliang Xu
cs.AI
Resumo
O raciocínio é central para a inteligência humana, permitindo a resolução estruturada de problemas em diversas tarefas. Avanços recentes em modelos de linguagem de grande escala (LLMs) têm aprimorado significativamente suas habilidades de raciocínio em domínios aritméticos, de senso comum e simbólicos. No entanto, estender efetivamente essas capacidades para contextos multimodais — onde os modelos devem integrar entradas visuais e textuais — continua sendo um desafio significativo. O raciocínio multimodal introduz complexidades, como lidar com informações conflitantes entre modalidades, o que exige que os modelos adotem estratégias interpretativas avançadas. Abordar esses desafios envolve não apenas algoritmos sofisticados, mas também metodologias robustas para avaliar a precisão e a coerência do raciocínio. Este artigo oferece uma visão geral concisa, porém perspicaz, das técnicas de raciocínio em LLMs textuais e multimodais. Por meio de uma comparação abrangente e atualizada, formulamos claramente os principais desafios e oportunidades de raciocínio, destacando métodos práticos para otimização pós-treinamento e inferência em tempo de teste. Nosso trabalho fornece insights e orientações valiosos, conectando frameworks teóricos e implementações práticas, e estabelece direções claras para pesquisas futuras.
English
Reasoning is central to human intelligence, enabling structured
problem-solving across diverse tasks. Recent advances in large language models
(LLMs) have greatly enhanced their reasoning abilities in arithmetic,
commonsense, and symbolic domains. However, effectively extending these
capabilities into multimodal contexts-where models must integrate both visual
and textual inputs-continues to be a significant challenge. Multimodal
reasoning introduces complexities, such as handling conflicting information
across modalities, which require models to adopt advanced interpretative
strategies. Addressing these challenges involves not only sophisticated
algorithms but also robust methodologies for evaluating reasoning accuracy and
coherence. This paper offers a concise yet insightful overview of reasoning
techniques in both textual and multimodal LLMs. Through a thorough and
up-to-date comparison, we clearly formulate core reasoning challenges and
opportunities, highlighting practical methods for post-training optimization
and test-time inference. Our work provides valuable insights and guidance,
bridging theoretical frameworks and practical implementations, and sets clear
directions for future research.