Mira a la ligera, piensa en profundidad: Lo que el razonamiento multimodal de cadena de pensamiento puede y no puede hacer

Resumen

El razonamiento de Cadena de Pensamiento (CoT, por sus siglas en inglés) se ha convertido en un método estándar para mejorar las capacidades de razonamiento en modelos de lenguaje grandes (LLMs) al elicitar un pensamiento paso a paso, pero su efectividad en tareas multimodales sigue sin estar clara. En este artículo, nos proponemos investigar sistemáticamente la pregunta clave: ¿Qué puede hacer el razonamiento multimodal de Cadena de Pensamiento, y dónde y por qué se queda corto? Para ello, evaluamos 12 tareas multimodales en las categorías de percepción y razonamiento utilizando tanto 14 modelos no razonadores como 8 modelos razonadores. Nuestro análisis revela varios hallazgos importantes: (1) El CoT no es un almuerzo gratis y debe usarse selectivamente según los requisitos específicos de cada tarea. Para tareas de percepción, el CoT puede provocar efectos secundarios no deseados, como un rendimiento reducido en el anclaje visual y el conteo de objetos. Por el contrario, resulta efectivo para tareas de razonamiento que involucran razonamiento matemático, científico y multiimagen; (2) En comparación con los modelos originales, los modelos de razonamiento multimodal de código abierto existentes a menudo producen solo mejoras generales marginales, posiblemente debido a un énfasis excesivo en el razonamiento matemático a expensas de capacidades más amplias; (3) El razonamiento visual sigue siendo un cuello de botella clave para el CoT multimodal actual, ya que los modelos exhiben un patrón de "Look Light, Think Heavy" (Mirar Ligero, Pensar Pesado) donde la reflexión verbal aumenta y disminuye durante el razonamiento, mientras que la reflexión visual disminuye constantemente. Estos hallazgos sugieren que, si bien el CoT multimodal maneja relativamente bien la reflexión verbal, carece de la capacidad de mantener una introspección visual profunda a lo largo del proceso de razonamiento.

English

Chain-of-Thought (CoT) has become a standard method for improving reasoning capabilities in large language models (LLMs) by eliciting step-by-step thinking, but its effectiveness in multimodal tasks remains unclear. In this paper, we aim to systematically investigate the key question: What can multimodal Chain-of-Thought reasoning do, and where and why does it fall short? To this end, we evaluate 12 multimodal tasks across perception and reasoning categories using both 14 non-reasoning models and 8 reasoning models. Our analysis reveals several important findings: (1) CoT is not a free lunch and should be used selectively depending on the specific requirements of each task. For perception tasks, CoT can lead to undesirable side effects, such as reduced performance in visual grounding and object counting. In contrast, it proves effective for reasoning tasks involving mathematical, scientific, and multi-image reasoning; (2) Compared to original models, existing open-source multimodal reasoning models often yield only marginal overall improvements, possibly due to an overemphasis on mathematical reasoning at the expense of broader capabilities; (3) Visual reasoning remains a key bottleneck for current multimodal CoT, as models exhibit a Look Light, Think Heavy pattern where verbal reflection rises and falls during reasoning, whereas visual reflection consistently diminishes. These findings suggest that while multimodal CoT handles verbal reflection relatively well, it lacks the ability to maintain deep visual introspection throughout the reasoning process.