추론이 중요한 이유? 멀티모달 추론의 발전에 대한 조사 (v1)

Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)

April 4, 2025

저자: Jing Bi, Susan Liang, Xiaofei Zhou, Pinxin Liu, Junjia Guo, Yunlong Tang, Luchuan Song, Chao Huang, Guangyu Sun, Jinxi He, Jiarui Wu, Shu Yang, Daoan Zhang, Chen Chen, Lianggong Bruce Wen, Zhang Liu, Jiebo Luo, Chenliang Xu

cs.AI

초록

추론은 인간 지능의 핵심으로, 다양한 작업에 걸쳐 구조화된 문제 해결을 가능하게 합니다. 최근 대형 언어 모델(LLM)의 발전은 산술, 상식, 그리고 기호 영역에서의 추론 능력을 크게 향상시켰습니다. 그러나 이러한 능력을 시각적 및 텍스트 입력을 모두 통합해야 하는 다중모달 환경으로 효과적으로 확장하는 것은 여전히 중요한 과제로 남아 있습니다. 다중모달 추론은 모달리티 간의 상충되는 정보를 처리하는 것과 같은 복잡성을 도입하며, 이는 모델이 고급 해석 전략을 채택해야 함을 의미합니다. 이러한 과제를 해결하기 위해서는 정교한 알고리즘뿐만 아니라 추론의 정확성과 일관성을 평가하기 위한 견고한 방법론이 필요합니다. 본 논문은 텍스트 및 다중모달 LLM에서의 추론 기법에 대한 간결하면서도 통찰력 있는 개요를 제공합니다. 철저하고 최신의 비교를 통해, 우리는 핵심적인 추론 과제와 기회를 명확히 정식화하며, 사후 훈련 최적화 및 테스트 시 추론을 위한 실용적인 방법을 강조합니다. 우리의 연구는 이론적 프레임워크와 실제 구현을 연결하는 가치 있는 통찰과 지침을 제공하며, 향후 연구를 위한 명확한 방향을 설정합니다.

English

Reasoning is central to human intelligence, enabling structured problem-solving across diverse tasks. Recent advances in large language models (LLMs) have greatly enhanced their reasoning abilities in arithmetic, commonsense, and symbolic domains. However, effectively extending these capabilities into multimodal contexts-where models must integrate both visual and textual inputs-continues to be a significant challenge. Multimodal reasoning introduces complexities, such as handling conflicting information across modalities, which require models to adopt advanced interpretative strategies. Addressing these challenges involves not only sophisticated algorithms but also robust methodologies for evaluating reasoning accuracy and coherence. This paper offers a concise yet insightful overview of reasoning techniques in both textual and multimodal LLMs. Through a thorough and up-to-date comparison, we clearly formulate core reasoning challenges and opportunities, highlighting practical methods for post-training optimization and test-time inference. Our work provides valuable insights and guidance, bridging theoretical frameworks and practical implementations, and sets clear directions for future research.