Ragionamento Visivo Implicito Latente

Latent Implicit Visual Reasoning

December 24, 2025

Autori: Kelvin Li, Chuyi Shang, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig

cs.AI

Abstract

Sebbene i Large Multimodal Model (LMM) abbiano compiuto progressi significativi, rimangono in larga misura incentrati sul testo, basandosi sul linguaggio come modalità di ragionamento principale. Di conseguenza, le loro capacità sono limitate nell'affrontare compiti di ragionamento prevalentemente visivi. Approcci recenti hanno cercato di risolvere questo problema supervisionando i passaggi visivi intermedi con immagini di supporto, mappe di profondità o ritagli di immagine. Tuttavia, queste strategie impongono preconcetti restrittivi su come dovrebbero apparire le astrazioni visive "utili", aggiungono costi di annotazione elevati e faticano a generalizzare tra diversi compiti. Per affrontare questa limitazione critica, proponiamo un meccanismo indipendente dal compito che addestra gli LMM a scoprire e utilizzare token di ragionamento visivo senza una supervisione esplicita. Questi token operano globalmente e ricodificano l'immagine in modo adattivo al compito, consentendo al modello di estrarre informazioni visive rilevanti senza una supervisione manuale. Il nostro approccio supera la messa a punto diretta (fine-tuning) e ottiene risultati allo stato dell'arte su un'ampia gamma di compiti incentrati sulla visione – inclusi quelli in cui le astrazioni intermedie sono difficili da specificare – generalizzando anche per la messa a punto su istruzioni multi-compito.

English

While Large Multimodal Models (LMMs) have made significant progress, they remain largely text-centric, relying on language as their core reasoning modality. As a result, they are limited in their ability to handle reasoning tasks that are predominantly visual. Recent approaches have sought to address this by supervising intermediate visual steps with helper images, depth maps, or image crops. However, these strategies impose restrictive priors on what "useful" visual abstractions look like, add heavy annotation costs, and struggle to generalize across tasks. To address this critical limitation, we propose a task-agnostic mechanism that trains LMMs to discover and use visual reasoning tokens without explicit supervision. These tokens attend globally and re-encode the image in a task-adaptive way, enabling the model to extract relevant visual information without hand-crafted supervision. Our approach outperforms direct fine-tuning and achieves state-of-the-art results on a diverse range of vision-centric tasks -- including those where intermediate abstractions are hard to specify -- while also generalizing to multi-task instruction tuning.