VisCo: 대규모 언어 모델을 시각적 토큰 압축을 위한 내재적 인코더로 활용

초록

시각-언어 모델(VLM)은 다수의 시각 토큰을 처리하므로 추론 지연 시간과 메모리 오버헤드가 크게 발생한다. 이로 인해 시각 토큰 압축에 관한 광범위한 연구가 이루어져 왔다. 학습 없는 전략은 휴리스틱 지표에 의존하며 높은 압축률에서 심각한 성능 저하를 겪는 반면, 많은 학습 기반 방법은 외부 압축 모듈을 도입하여 VLM 백본이 적응하도록 강제함으로써 상당한 재학습 비용을 초래하고 VLM의 사전 지식을 손상시킨다. 효과적인 시각 토큰 압축은 강력한 정보 인코딩에 달려 있으며, 이러한 능력은 사전 학습된 VLM에 이미 존재하지만 기존 접근법에서는 충분히 활용되지 못하고 있다. 이에 착안하여, 우리는 사전 학습된 VLM 자체를 내재적 압축기로 재사용하는 학습 효율적인 자체 압축 프레임워크인 VisCo를 제안한다. VisCo는 소수의 메모리 토큰을 사용하여 시각 정보를 압축하고, 인코딩에서 디코딩으로 계층적 정보를 전달하는 파라미터 공유 오토인코더이다. 실험 결과, VisCo는 모든 평가된 압축률에서 이전 방법들을 능가하며, 더 공격적인 압축일수록 더 큰 성능 향상을 보이고, 극단적인 단일 토큰 설정에서도 안정적으로 유지된다. 더 나아가, 학습된 메모리 토큰을 원본 시각 토큰과 결합하면 기본 모델이 개선되기까지 하는데, 이는 VisCo가 압축을 넘어 보완적 표현을 포착함을 시사한다.

English

Vision-language models (VLMs) process large numbers of visual tokens, resulting in substantial inference latency and memory overhead. This has motivated extensive research on visual token compression. While training-free strategies rely on heuristic metrics and suffer significant performance degradation under high compression ratios, many training-based methods introduce external compression modules that force the VLM backbone to adapt, incurring substantial retraining cost and compromising VLMs' priors. Effective visual token compression hinges on strong information encoding, a capability already present in pretrained VLMs but underutilized by existing approaches. Motivated by this, we propose VisCo, a training-efficient self-compression framework that reuses the pretrained VLM itself as an intrinsic compressor. VisCo is a parameter-sharing autoencoder that compresses visual information using a small set of memory tokens and transfers hierarchical information from encoding to decoding. Experiments show that VisCo surpasses prior methods across all evaluated compression ratios, with larger gains under more aggressive compression, and remains stable even in the extreme single-token setting. Moreover, when combined with the original visual tokens, the learned memory tokens can even improve the base model, suggesting that VisCo captures complementary representations beyond compression.