MMTok: 大規模視覚言語モデルの効率的推論のためのマルチモーダルカバレッジ最大化

要旨

視覚言語モデル（VLMs）は、視覚入力を視覚トークンに変換することで、言語指示を用いた視覚コンテンツの理解において優れた性能を発揮する。しかし、視覚トークンの冗長性は、VLMsの推論効率を低下させる原因となる。これまでに視覚トークンの数を削減するための多くのアルゴリズムが提案されてきたが、そのほとんどは単一モダリティ情報（視覚またはテキスト）のみを用いた刈り込みを行い、視覚言語タスクの本質的なマルチモーダル特性を無視している。さらに、異なるモダリティに適用可能な汎用的な基準が欠如している。この制約を緩和するため、本研究では、視覚とテキストのトークンを活用し、カバレッジの基準に基づいて情報量の多い視覚トークンを選択することを提案する。まず、部分集合選択問題を最大カバレッジ問題として定式化する。その後、テキストトークンと元の視覚トークン集合の両方を同時にカバーするように視覚トークンの部分集合を最適化する。最後に、VLMsエージェントを採用して、視覚刈り込みをガイドするためのテキストトークンの品質をさらに向上させる。提案手法MMTokは、異なるVLMsを用いたベンチマークデータセットで広範に評価された。比較結果から、視覚情報とテキスト情報は補完的であり、マルチモーダル情報を組み合わせることで単一モダリティのベースラインを明確に上回ることが示された。さらに、POPEデータセットにおける最大カバレッジ基準の下で、LLaVA-NeXT-13Bにおいて元の性能の98.7%を維持しつつ1.87倍の高速化を達成した。また、LLaVA-1.5-7Bにおいては、わずか4つの視覚トークンで元の性能の87.7%を維持した。これらの結果は、トークン選択におけるカバレッジの有効性を強調するものである。

English

Vision-Language Models (VLMs) demonstrate impressive performance in understanding visual content with language instruction by converting visual input to vision tokens. However, redundancy in vision tokens results in the degenerated inference efficiency of VLMs. While many algorithms have been proposed to reduce the number of vision tokens, most of them apply only unimodal information (i.e., vision/text) for pruning and ignore the inherent multimodal property of vision-language tasks. Moreover, it lacks a generic criterion that can be applied to different modalities. To mitigate this limitation, in this work, we propose to leverage both vision and text tokens to select informative vision tokens by the criterion of coverage. We first formulate the subset selection problem as a maximum coverage problem. Afterward, a subset of vision tokens is optimized to cover the text tokens and the original set of vision tokens, simultaneously. Finally, a VLM agent can be adopted to further improve the quality of text tokens for guiding vision pruning. The proposed method MMTok is extensively evaluated on benchmark datasets with different VLMs. The comparison illustrates that vision and text information are complementary, and combining multimodal information can surpass the unimodal baseline with a clear margin. Moreover, under the maximum coverage criterion on the POPE dataset, our method achieves a 1.87x speedup while maintaining 98.7% of the original performance on LLaVA-NeXT-13B. Furthermore, with only four vision tokens, it still preserves 87.7% of the original performance on LLaVA-1.5-7B. These results highlight the effectiveness of coverage in token selection.

MMTok: 大規模視覚言語モデルの効率的推論のためのマルチモーダルカバレッジ最大化

MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

要旨

Support