Razonamiento Visual Implícito Latente

Latent Implicit Visual Reasoning

December 24, 2025

Autores: Kelvin Li, Chuyi Shang, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig

cs.AI

Resumen

Si bien los Modelos Multimodales Grandes (LMMs) han logrado avances significativos, siguen siendo mayormente centrados en texto, utilizando el lenguaje como su modalidad central de razonamiento. Como resultado, su capacidad para manejar tareas de razonamiento predominantemente visuales es limitada. Enfoques recientes han intentado abordar este problema supervisando pasos visuales intermedios con imágenes auxiliares, mapas de profundidad o recortes de imagen. Sin embargo, estas estrategias imponen supuestos restrictivos sobre cómo deben ser las abstracciones visuales "útiles", añaden costos elevados de anotación y tienen dificultades para generalizar entre tareas. Para abordar esta limitación crítica, proponemos un mecanismo independiente de la tarea que entrena a los LMMs para descubrir y utilizar tokens de razonamiento visual sin supervisión explícita. Estos tokens atienden globalmente y vuelven a codificar la imagen de una manera adaptativa a la tarea, permitiendo al modelo extraer información visual relevante sin supervisión manual. Nuestro enfoque supera el ajuste fino directo y logra resultados de vanguardia en una amplia gama de tareas centradas en la visión —incluyendo aquellas donde las abstracciones intermedias son difíciles de especificar— mientras también generaliza para el ajuste por instrucciones multitarea.

English

While Large Multimodal Models (LMMs) have made significant progress, they remain largely text-centric, relying on language as their core reasoning modality. As a result, they are limited in their ability to handle reasoning tasks that are predominantly visual. Recent approaches have sought to address this by supervising intermediate visual steps with helper images, depth maps, or image crops. However, these strategies impose restrictive priors on what "useful" visual abstractions look like, add heavy annotation costs, and struggle to generalize across tasks. To address this critical limitation, we propose a task-agnostic mechanism that trains LMMs to discover and use visual reasoning tokens without explicit supervision. These tokens attend globally and re-encode the image in a task-adaptive way, enabling the model to extract relevant visual information without hand-crafted supervision. Our approach outperforms direct fine-tuning and achieves state-of-the-art results on a diverse range of vision-centric tasks -- including those where intermediate abstractions are hard to specify -- while also generalizing to multi-task instruction tuning.