Меньше значит больше — пока не сломается: уязвимости безопасности при сжатии визуальных токенов в больших визуально-языковых моделях

Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models

January 17, 2026

Авторы: Xiaomei Zhang, Zhaoxi Zhang, Leo Yu Zhang, Yanjun Zhang, Guanhong Tao, Shirui Pan

cs.AI

Аннотация

Визуальное сжатие токенов широко применяется для повышения эффективности логического вывода больших визуально-языковых моделей (LVLM), что позволяет их развертывание в сценариях с критичными к задержкам и ограниченными ресурсами. Однако существующие работы в основном сосредоточены на эффективности и производительности, в то время как вопросы безопасности визуального сжатия токенов остаются в значительной степени неисследованными. В данной работе мы впервые показываем, что визуальное сжатие токенов существенно снижает устойчивость LVLM: модели, демонстрирующие надежность при несжатом выводе, становятся крайне уязвимыми после включения сжатия. Эти уязвимости являются специфичными для состояния: режимы сбоев возникают только в условиях сжатия и полностью исчезают при его отключении, что делает их особенно скрытыми и трудными для диагностики. Анализируя ключевые этапы процесса сжатия, мы идентифицируем нестабильность ранжирования важности токенов как основную причину этого снижения устойчивости. Незначительные и незаметные возмущения могут существенно изменить ранжирование токенов, в результате чего механизм сжатия ошибочно отбрасывает критически важную для задачи информацию и в конечном итоге приводит к сбою модели. Руководствуясь этим наблюдением, мы предлагаем атаку, осведомленную о сжатии (Compression-Aware Attack, CAA), для систематического изучения и эксплуатации данной уязвимости. CAA напрямую нацелена на механизм выбора токенов и вызывает сбои исключительно при сжатом выводе. Мы также расширяем этот подход до более реалистичных условий черного ящика и представляем Transfer CAA, где ни целевая модель, ни конфигурация сжатия не доступны. Мы дополнительно оцениваем потенциальные методы защиты и обнаруживаем, что они обеспечивают лишь ограниченную защиту. Многочисленные эксперименты на различных моделях, наборах данных и методах сжатия показывают, что визуальное сжатие токенов значительно подрывает устойчивость, выявляя ранее упускавшийся из виду компромисс между эффективностью и безопасностью.

English

Visual token compression is widely adopted to improve the inference efficiency of Large Vision-Language Models (LVLMs), enabling their deployment in latency-sensitive and resource-constrained scenarios. However, existing work has mainly focused on efficiency and performance, while the security implications of visual token compression remain largely unexplored. In this work, we first reveal that visual token compression substantially degrades the robustness of LVLMs: models that are robust under uncompressed inference become highly vulnerable once compression is enabled. These vulnerabilities are state-specific; failure modes emerge only in the compressed setting and completely disappear when compression is disabled, making them particularly hidden and difficult to diagnose. By analyzing the key stages of the compression process, we identify instability in token importance ranking as the primary cause of this robustness degradation. Small and imperceptible perturbations can significantly alter token rankings, leading the compression mechanism to mistakenly discard task-critical information and ultimately causing model failure. Motivated by this observation, we propose a Compression-Aware Attack to systematically study and exploit this vulnerability. CAA directly targets the token selection mechanism and induces failures exclusively under compressed inference. We further extend this approach to more realistic black-box settings and introduce Transfer CAA, where neither the target model nor the compression configuration is accessible. We further evaluate potential defenses and find that they provide only limited protection. Extensive experiments across models, datasets, and compression methods show that visual token compression significantly undermines robustness, revealing a previously overlooked efficiency-security trade-off.