Percezione, Ragionamento, Pensiero e Pianificazione: Una Rassegna sui Modelli di Ragionamento Multimodale su Grande Scala
Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models
May 8, 2025
Autori: Yunxin Li, Zhenyu Liu, Zitao Li, Xuanyu Zhang, Zhenran Xu, Xinyu Chen, Haoyuan Shi, Shenyuan Jiang, Xintong Wang, Jifang Wang, Shouzheng Huang, Xinping Zhao, Borui Jiang, Lanqing Hong, Longyue Wang, Zhuotao Tian, Baoxing Huai, Wenhan Luo, Weihua Luo, Zheng Zhang, Baotian Hu, Min Zhang
cs.AI
Abstract
Il ragionamento è al cuore dell'intelligenza, plasmando la capacità di prendere decisioni, trarre conclusioni e generalizzare attraverso diversi domini. Nell'intelligenza artificiale, man mano che i sistemi operano sempre più in ambienti aperti, incerti e multimodali, il ragionamento diventa essenziale per abilitare comportamenti robusti e adattivi. I Large Multimodal Reasoning Models (LMRMs) sono emersi come un paradigma promettente, integrando modalità come testo, immagini, audio e video per supportare capacità di ragionamento complesse e mirando a raggiungere una percezione completa, una comprensione precisa e un ragionamento profondo. Con l'avanzare della ricerca, il ragionamento multimodale si è rapidamente evoluto da pipeline modulari e guidate dalla percezione a framework unificati e centrati sul linguaggio, che offrono una comprensione cross-modale più coerente. Sebbene l'instruction tuning e il reinforcement learning abbiano migliorato il ragionamento dei modelli, rimangono sfide significative nella generalizzazione omni-modale, nella profondità del ragionamento e nel comportamento agentico. Per affrontare queste questioni, presentiamo una rassegna strutturata e completa della ricerca sul ragionamento multimodale, organizzata attorno a una roadmap di sviluppo in quattro fasi che riflette i cambiamenti nelle filosofie di progettazione e le capacità emergenti del campo. In primo luogo, esaminiamo i primi sforzi basati su moduli specifici per task, dove il ragionamento era implicitamente incorporato nelle fasi di rappresentazione, allineamento e fusione. Successivamente, analizziamo approcci recenti che unificano il ragionamento nei multimodal LLMs, con progressi come il Multimodal Chain-of-Thought (MCoT) e il reinforcement learning multimodale che abilitano catene di ragionamento più ricche e strutturate. Infine, basandoci su intuizioni empiriche provenienti da benchmark impegnativi e casi sperimentali come OpenAI O3 e O4-mini, discutiamo la direzione concettuale dei native large multimodal reasoning models (N-LMRMs), che mirano a supportare ragionamento e pianificazione scalabili, agentici e adattivi in ambienti complessi e reali.
English
Reasoning lies at the heart of intelligence, shaping the ability to make
decisions, draw conclusions, and generalize across domains. In artificial
intelligence, as systems increasingly operate in open, uncertain, and
multimodal environments, reasoning becomes essential for enabling robust and
adaptive behavior. Large Multimodal Reasoning Models (LMRMs) have emerged as a
promising paradigm, integrating modalities such as text, images, audio, and
video to support complex reasoning capabilities and aiming to achieve
comprehensive perception, precise understanding, and deep reasoning. As
research advances, multimodal reasoning has rapidly evolved from modular,
perception-driven pipelines to unified, language-centric frameworks that offer
more coherent cross-modal understanding. While instruction tuning and
reinforcement learning have improved model reasoning, significant challenges
remain in omni-modal generalization, reasoning depth, and agentic behavior. To
address these issues, we present a comprehensive and structured survey of
multimodal reasoning research, organized around a four-stage developmental
roadmap that reflects the field's shifting design philosophies and emerging
capabilities. First, we review early efforts based on task-specific modules,
where reasoning was implicitly embedded across stages of representation,
alignment, and fusion. Next, we examine recent approaches that unify reasoning
into multimodal LLMs, with advances such as Multimodal Chain-of-Thought (MCoT)
and multimodal reinforcement learning enabling richer and more structured
reasoning chains. Finally, drawing on empirical insights from challenging
benchmarks and experimental cases of OpenAI O3 and O4-mini, we discuss the
conceptual direction of native large multimodal reasoning models (N-LMRMs),
which aim to support scalable, agentic, and adaptive reasoning and planning in
complex, real-world environments.