적게 가진 것이 더 많다, 그러나 한계에 다다를 때까지: 대규모 시각-언어 모델에서 시각 토큰 압축의 보안 함정

초록

시각적 토큰 압축은 대규모 시각-언어 모델(LVLM)의 추론 효율성을 향상시키기 위해 널리 채택되어 있으며, 지연 시간에 민감하고 자원이 제한된 시나리오에서의 배포를 가능하게 합니다. 그러나 기존 연구는 주로 효율성과 성능에 초점을 맞추어 왔으며, 시각적 토큰 압축의 보안적 함의는 크게 탐구되지 않은 상태입니다. 본 연구에서는 먼저 시각적 토큰 압축이 LVLM의 강건성을 현저히 저하시킨다는 사실을 밝힙니다: 압축되지 않은 추론 환경에서 강건했던 모델들은 압축이 활성화되면 매우 취약해집니다. 이러한 취약점은 상태 특이적입니다. 즉, 실패 모드들은 압축 설정에서만 나타나며 압축이 비활성화되면 완전히 사라져 특히 숨겨져 있고 진단하기 어렵습니다. 압축 과정의 주요 단계를 분석함으로써, 토큰 중요도 순위 결정의 불안정성이 이러한 강건성 저하의 주된 원인임을 규명합니다. 작고 지각하기 어려운 섭동이 토큰 순위를 크게 바꿔, 압축 메커니즘이 작업에 핵심적인 정보를 오판하여 버리게 하고 결국 모델 실패를 초래하게 됩니다. 이러한 관찰에 기반하여, 우리는 이 취약점을 체계적으로 연구하고 이용하기 위한 압축 인식 공격(CAA)을 제안합니다. CAA는 토큰 선택 메커니즘을 직접 대상으로 하며, 압축된 추론 환경에서만 독점적으로 실패를 유도합니다. 우리는 이 접근법을 더 현실적인 블랙박스 설정으로 확장하여, 대상 모델이나 압축 구성에 모두 접근할 수 없는 환경에서의 전이 CAA를 소개합니다. 또한 잠재적인 방어 방법들을 평가한 결과, 이들이 제한된 보호만을 제공함을 발견했습니다. 모델, 데이터셋, 압축 방법에 걸친 폭넓은 실험을 통해 시각적 토큰 압축이 강건성을 심각하게 훼손하며, 이전에 간과되었던 효율성과 보안 간의 트레이드오프가 존재함을 밝혔습니다.

English

Visual token compression is widely adopted to improve the inference efficiency of Large Vision-Language Models (LVLMs), enabling their deployment in latency-sensitive and resource-constrained scenarios. However, existing work has mainly focused on efficiency and performance, while the security implications of visual token compression remain largely unexplored. In this work, we first reveal that visual token compression substantially degrades the robustness of LVLMs: models that are robust under uncompressed inference become highly vulnerable once compression is enabled. These vulnerabilities are state-specific; failure modes emerge only in the compressed setting and completely disappear when compression is disabled, making them particularly hidden and difficult to diagnose. By analyzing the key stages of the compression process, we identify instability in token importance ranking as the primary cause of this robustness degradation. Small and imperceptible perturbations can significantly alter token rankings, leading the compression mechanism to mistakenly discard task-critical information and ultimately causing model failure. Motivated by this observation, we propose a Compression-Aware Attack to systematically study and exploit this vulnerability. CAA directly targets the token selection mechanism and induces failures exclusively under compressed inference. We further extend this approach to more realistic black-box settings and introduce Transfer CAA, where neither the target model nor the compression configuration is accessible. We further evaluate potential defenses and find that they provide only limited protection. Extensive experiments across models, datasets, and compression methods show that visual token compression significantly undermines robustness, revealing a previously overlooked efficiency-security trade-off.

적게 가진 것이 더 많다, 그러나 한계에 다다를 때까지: 대규모 시각-언어 모델에서 시각 토큰 압축의 보안 함정

Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models

초록

Support