感知、推理、思考與規劃：大型多模態推理模型綜述Perception, Reason, Think, and Plan: A Survey on Large Multimodal
Reasoning Models
感知、推理、思考與規劃：大型多模態推理模型綜述
Perception, Reason, Think, and Plan: A Survey on Large Multimodal
Reasoning Models
May 8, 2025
Yunxin Li, Zhenyu Liu, Zitao Li, Xuanyu Zhang, Zhenran Xu, Xinyu Chen, Haoyuan Shi, Shenyuan Jiang, Xintong Wang, Jifang Wang, Shouzheng Huang, Xinping Zhao, Borui Jiang, Lanqing Hong, Longyue Wang, Zhuotao Tian, Baoxing Huai, Wenhan Luo, Weihua Luo, Zheng Zhang, Baotian Hu, Min Zhang
1843
推理是智能的核心，它塑造了决策、得出结论以及跨领域泛化的能力。在人工智能领域，随着系统越来越多地在开放、不确定和多模态环境中运行，推理对于实现稳健和自适应行为变得至关重要。大型多模态推理模型（LMRMs）作为一种有前景的范式应运而生，它整合了文本、图像、音频和视频等多种模态，以支持复杂的推理能力，并旨在实现全面的感知、精确的理解和深度的推理。随着研究的进展，多模态推理已从模块化、感知驱动的流程迅速演变为统一的、以语言为中心的框架，这些框架提供了更连贯的跨模态理解。尽管指令微调和强化学习已提升了模型的推理能力，但在全模态泛化、推理深度和代理行为方面仍存在重大挑战。为了解决这些问题，我们围绕一个四阶段的发展路线图，对多模态推理研究进行了全面而结构化的综述，该路线图反映了该领域设计理念的转变和新兴能力。首先，我们回顾了基于任务特定模块的早期努力，其中推理隐含地嵌入在表示、对齐和融合的各个阶段。接着，我们探讨了将推理统一到多模态大语言模型（LLMs）中的最新方法，如多模态思维链（MCoT）和多模态强化学习等进展，使得推理链更加丰富和结构化。最后，基于来自挑战性基准和OpenAI O3及O4-mini实验案例的实证洞察，我们讨论了原生大型多模态推理模型（N-LMRMs）的概念方向，这些模型旨在支持复杂现实环境中可扩展、代理性和自适应的推理与规划。