VisCo: 大規模言語モデルを視覚トークン圧縮のための内在的エンコーダとして活用する

要旨

視覚言語モデル（VLM）は大量の視覚トークンを処理するため、推論レイテンシとメモリオーバーヘッドが大きくなる。これにより、視覚トークン圧縮に関する広範な研究が動機づけられている。訓練不要の戦略はヒューリスティックな指標に依存し、高い圧縮率では著しい性能劣化を被る一方で、多くの訓練ベースの手法は外部圧縮モジュールを導入し、VLMバックボーンに適応を強いるため、再訓練コストが大きく、VLMの事前知識を損なう。効果的な視覚トークン圧縮は強力な情報符号化に依存しており、その能力は事前学習済みVLMに既に備わっているが、既存の手法では十分に活用されていない。この動機に基づき、我々はVisCoを提案する。これは訓練効率の高い自己圧縮フレームワークであり、事前学習済みVLM自体を内在的な圧縮器として再利用する。VisCoはパラメータ共有型オートエンコーダであり、少数のメモリトークンを用いて視覚情報を圧縮し、符号化から復号への階層的情報の転送を行う。実験により、VisCoは評価されたすべての圧縮率において従来手法を上回り、より積極的な圧縮下では大きな利得を示し、極端な単一トークン設定でも安定した性能を維持することが示された。さらに、元の視覚トークンと組み合わせた場合、学習されたメモリトークンはベースモデルを改善することさえ可能であり、VisCoが圧縮を超えた補完的な表現を捕捉していることを示唆している。

English

Vision-language models (VLMs) process large numbers of visual tokens, resulting in substantial inference latency and memory overhead. This has motivated extensive research on visual token compression. While training-free strategies rely on heuristic metrics and suffer significant performance degradation under high compression ratios, many training-based methods introduce external compression modules that force the VLM backbone to adapt, incurring substantial retraining cost and compromising VLMs' priors. Effective visual token compression hinges on strong information encoding, a capability already present in pretrained VLMs but underutilized by existing approaches. Motivated by this, we propose VisCo, a training-efficient self-compression framework that reuses the pretrained VLM itself as an intrinsic compressor. VisCo is a parameter-sharing autoencoder that compresses visual information using a small set of memory tokens and transfers hierarchical information from encoding to decoding. Experiments show that VisCo surpasses prior methods across all evaluated compression ratios, with larger gains under more aggressive compression, and remains stable even in the extreme single-token setting. Moreover, when combined with the original visual tokens, the learned memory tokens can even improve the base model, suggesting that VisCo captures complementary representations beyond compression.