Скрытое неявное визуальное рассуждение
Latent Implicit Visual Reasoning
December 24, 2025
Авторы: Kelvin Li, Chuyi Shang, Leonid Karlinsky, Rogerio Feris, Trevor Darrell, Roei Herzig
cs.AI
Аннотация
В то время как большие мультимодальные модели (LMM) достигли значительного прогресса, они в основном остаются текстоцентричными, используя язык в качестве основной модальности для рассуждений. Как следствие, их возможности ограничены при решении задач, требующих преимущественно визуального анализа. Современные подходы пытаются решить эту проблему, контролируя промежуточные визуальные шаги с помощью вспомогательных изображений, карт глубины или фрагментов изображений. Однако эти стратегии накладывают ограничивающие априорные предположения о том, как выглядят «полезные» визуальные абстракции, требуют значительных затрат на разметку данных и плохо обобщаются на различные задачи. Для преодоления этого фундаментального ограничения мы предлагаем агностичный к задачам механизм, который обучает LMM самостоятельно обнаруживать и использовать токены визуального reasoning без явного контроля. Эти токены глобально обращают внимание на изображение и перекодируют его адаптивным к задаче способом, позволяя модели извлекать релевантную визуальную информацию без ручного контроля. Наш подход превосходит прямое тонкое настраивание и достигает state-of-the-art результатов на широком спектре визуально-ориентированных задач — включая те, где промежуточные абстракции сложно специфицировать — а также демонстрирует обобщение при многозадачной настройке по инструкциям.
English
While Large Multimodal Models (LMMs) have made significant progress, they remain largely text-centric, relying on language as their core reasoning modality. As a result, they are limited in their ability to handle reasoning tasks that are predominantly visual. Recent approaches have sought to address this by supervising intermediate visual steps with helper images, depth maps, or image crops. However, these strategies impose restrictive priors on what "useful" visual abstractions look like, add heavy annotation costs, and struggle to generalize across tasks. To address this critical limitation, we propose a task-agnostic mechanism that trains LMMs to discover and use visual reasoning tokens without explicit supervision. These tokens attend globally and re-encode the image in a task-adaptive way, enabling the model to extract relevant visual information without hand-crafted supervision. Our approach outperforms direct fine-tuning and achieves state-of-the-art results on a diverse range of vision-centric tasks -- including those where intermediate abstractions are hard to specify -- while also generalizing to multi-task instruction tuning.