トークンが過剰に話すとき：画像、動画、音声にわたるマルチモーダル長文脈トークン圧縮の調査

要旨

マルチモーダル大規模言語モデル（MLLMs）は、高解像度画像、長時間の動画シーケンス、長大な音声入力など、ますます長く複雑なコンテキストを処理する能力によって、著しい進歩を遂げてきた。この能力はMLLMの性能を大幅に向上させる一方で、多数の入力トークンに対する自己注意機構の二次的な計算複雑性により、大きな計算上の課題を引き起こしている。これらのボトルネックを緩和するため、トークン圧縮が有望かつ重要なアプローチとして登場し、学習と推論の両方において効率的にトークン数を削減している。本論文では、マルチモーダル長文脈トークン圧縮という急速に発展している分野について、初めて体系的に調査し、総括する。効果的な圧縮戦略が各モダリティの特性と冗長性に深く結びついていることを認識し、既存のアプローチを主要なデータ焦点に基づいて分類し、研究者が特定の関心領域に適した手法を迅速にアクセスし学べるようにする：（1）画像中心の圧縮、これは視覚データの空間的冗長性に対処する；（2）動画中心の圧縮、これは動的シーケンスの時空間的冗長性に取り組む；（3）音声中心の圧縮、これは音響信号の時間的およびスペクトル的冗長性を扱う。このモダリティ駆動の分類に加えて、手法をその基盤となるメカニズムに基づいてさらに細分化し、変換ベース、類似性ベース、注意ベース、クエリベースのアプローチを含む。本調査は、包括的かつ構造化された概要を提供することで、現在の進展を統合し、主要な課題を特定し、この急速に進化する分野における将来の研究方向性を刺激することを目指す。また、この有望な領域における最新の進展を継続的に追跡し更新するための公開リポジトリを維持している。

English

Multimodal large language models (MLLMs) have made remarkable strides, largely driven by their ability to process increasingly long and complex contexts, such as high-resolution images, extended video sequences, and lengthy audio input. While this ability significantly enhances MLLM capabilities, it introduces substantial computational challenges, primarily due to the quadratic complexity of self-attention mechanisms with numerous input tokens. To mitigate these bottlenecks, token compression has emerged as an auspicious and critical approach, efficiently reducing the number of tokens during both training and inference. In this paper, we present the first systematic survey and synthesis of the burgeoning field of multimodal long context token compression. Recognizing that effective compression strategies are deeply tied to the unique characteristics and redundancies of each modality, we categorize existing approaches by their primary data focus, enabling researchers to quickly access and learn methods tailored to their specific area of interest: (1) image-centric compression, which addresses spatial redundancy in visual data; (2) video-centric compression, which tackles spatio-temporal redundancy in dynamic sequences; and (3) audio-centric compression, which handles temporal and spectral redundancy in acoustic signals. Beyond this modality-driven categorization, we further dissect methods based on their underlying mechanisms, including transformation-based, similarity-based, attention-based, and query-based approaches. By providing a comprehensive and structured overview, this survey aims to consolidate current progress, identify key challenges, and inspire future research directions in this rapidly evolving domain. We also maintain a public repository to continuously track and update the latest advances in this promising area.

トークンが過剰に話すとき：画像、動画、音声にわたるマルチモーダル長文脈トークン圧縮の調査

When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios

要旨

Support