Raciocínio Visual Implícito Latente
Latent Implicit Visual Reasoning
December 24, 2025
Autores: Kelvin Li, Chuyi Shang, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig
cs.AI
Resumo
Embora os Modelos Multimodais de Grande Porte (LMMs) tenham feito progressos significativos, eles permanecem amplamente centrados em texto, utilizando a linguagem como sua modalidade central de raciocínio. Como resultado, sua capacidade de lidar com tarefas de raciocínio predominantemente visuais é limitada. Abordagens recentes tentaram resolver isso supervisionando etapas visuais intermediárias com imagens auxiliares, mapas de profundidade ou recortes de imagem. No entanto, essas estratégias impõem pré-condições restritivas sobre como as abstrações visuais "úteis" devem ser, adicionam custos pesados de anotação e lutam para generalizar entre tarefas. Para enfrentar esta limitação crítica, propomos um mecanismo independente de tarefa que treina LMMs para descobrir e usar tokens de raciocínio visual sem supervisão explícita. Esses tokens atendem globalmente e recodificam a imagem de uma forma adaptada à tarefa, permitindo que o modelo extraia informações visuais relevantes sem supervisão manual. Nossa abordagem supera o ajuste fino direto e alcança resultados de última geração em uma ampla gama de tarefas centradas na visão – incluindo aquelas em que as abstrações intermediárias são difíceis de especificar – ao mesmo tempo que generaliza para o ajuste de instrução multitarefa.
English
While Large Multimodal Models (LMMs) have made significant progress, they remain largely text-centric, relying on language as their core reasoning modality. As a result, they are limited in their ability to handle reasoning tasks that are predominantly visual. Recent approaches have sought to address this by supervising intermediate visual steps with helper images, depth maps, or image crops. However, these strategies impose restrictive priors on what "useful" visual abstractions look like, add heavy annotation costs, and struggle to generalize across tasks. To address this critical limitation, we propose a task-agnostic mechanism that trains LMMs to discover and use visual reasoning tokens without explicit supervision. These tokens attend globally and re-encode the image in a task-adaptive way, enabling the model to extract relevant visual information without hand-crafted supervision. Our approach outperforms direct fine-tuning and achieves state-of-the-art results on a diverse range of vision-centric tasks -- including those where intermediate abstractions are hard to specify -- while also generalizing to multi-task instruction tuning.