TopoPerception: оценка глобального визуального восприятия крупных языково-визуальных моделей без использования ярлыков
TopoPerception: A Shortcut-Free Evaluation of Global Visual Perception in Large Vision-Language Models
November 14, 2025
Авторы: Wenhao Zhou, Hao Zheng, Rong Zhao
cs.AI
Аннотация
Крупные визуально-языковые модели (LVLM) обычно согласуют визуальные признаки из энкодера с предварительно обученной большой языковой моделью (LLM). Однако это делает модуль визуального восприятия узким местом, что ограничивает общие возможности LVLM. Традиционные оценочные тесты, хотя и богаты визуальной семантикой, часто содержат неизбежные локальные сокращённые пути (shortcuts), которые могут привести к завышенной оценке перцептивных способностей моделей. Здесь мы представляем TopoPerception — тестовый набор, использующий топологические свойства для строгой оценки глобальных возможностей визуального восприятия LVLM на различных уровнях детализации. Поскольку топология зависит от глобальной структуры изображения и инвариантна к локальным признакам, TopoPerception позволяет провести оценку глобального восприятия, свободную от сокращённых путей, что принципиально отличает его от семантически насыщенных задач. Мы оценили передовые модели на TopoPerception и обнаружили, что даже на самом грубом уровне перцептивной детализации все модели работают не лучше случайного угадывания, что указывает на глубокую неспособность воспринимать глобальные визуальные признаки. Примечательно, что внутри семейств моделей наблюдается последовательная тенденция: более мощные модели с более сильными reasoning-способностями демонстрируют более низкую точность. Это позволяет предположить, что простое масштабирование моделей недостаточно для устранения этого дефицита и может даже усугубить его. Прогресс может потребовать новых парадигм обучения или архитектур. TopoPerception не только выявляет критическое узкое место в современных LVLM, но и предлагает перспективу и направление для улучшения их глобального визуального восприятия. Данные и код общедоступны по адресу: https://github.com/Wenhao-Zhou/TopoPerception.
English
Large Vision-Language Models (LVLMs) typically align visual features from an encoder with a pre-trained Large Language Model (LLM). However, this makes the visual perception module a bottleneck, which constrains the overall capabilities of LVLMs. Conventional evaluation benchmarks, while rich in visual semantics, often contain unavoidable local shortcuts that can lead to an overestimation of models' perceptual abilities. Here, we introduce TopoPerception, a benchmark that leverages topological properties to rigorously evaluate the global visual perception capabilities of LVLMs across various granularities. Since topology depends on the global structure of an image and is invariant to local features, TopoPerception enables a shortcut-free assessment of global perception, fundamentally distinguishing it from semantically rich tasks. We evaluate state-of-the-art models on TopoPerception and find that even at the coarsest perceptual granularity, all models perform no better than random chance, indicating a profound inability to perceive global visual features. Notably, a consistent trend emerge within model families: more powerful models with stronger reasoning capabilities exhibit lower accuracy. This suggests that merely scaling up models is insufficient to address this deficit and may even exacerbate it. Progress may require new training paradigms or architectures. TopoPerception not only exposes a critical bottleneck in current LVLMs but also offers a lens and direction for improving their global visual perception. The data and code are publicly available at: https://github.com/Wenhao-Zhou/TopoPerception.