なぜ動画は依然としてそれほど高コストなのか？――動画および視聴覚LLMにおける推論効率化メカニズムに関するサーベイ

要旨

動画理解は、動画大規模言語モデル（VideoLLM）へと急速に発展してきた。VideoLLMとは、動画表現を事前学習済み大規模言語モデルと結合し、テキストプロンプトを条件として生成を行うシステムである。キャプション生成、質問応答、検索、時間的グラウンディングにおける高い性能は、フレーム数とコンテキスト長に応じて増大する計算コストとメモリコストを伴い、リアルタイム、モバイル、リソース制約環境での展開を制限している。本サーベイでは、パラメータ数、入力あたりFLOPs、レイテンシ、メモリ、あるいは視覚・音声トークン数における具体的な削減を報告する、視覚および視聴覚VideoLLMの推論効率化機構を扱う。フレームサンプリング、モダリティ符号化、コネクタレベルでのトークン削減、LLMのプリフィリングとデコーディングにわたるボトルネックを分析する。手法を、それらが作用するパイプライン段階ごとに整理し、2022年後半以降に開発されたVideoLLMを、現在のパイプラインの構成要素であり続ける初期のフレームサンプリングおよび視覚エンコーダ機構とともに扱う。利用可能な場合は共通のホストモデルと入力プロトコルの下で文献で報告されている精度–コスト比較を収集し、それらを論文横断的な異種エビデンスと区別し、視聴覚効率と標準化された評価におけるギャップを特定する。リポジトリを https://github.com/momentslab/awesome-efficient-videollm で維持している。

English

Video understanding has rapidly evolved toward video large language models (VideoLLMs): systems that couple video representations with pretrained large language models and condition generation on a textual prompt. Their strong performance on captioning, question answering, retrieval and temporal grounding comes at a computation and memory cost that grows with frame count and context length, limiting deployment in real-time, mobile and resource-constrained settings. This survey covers inference-efficiency mechanisms for visual and audiovisual VideoLLMs that report concrete reductions in parameter count, FLOPs per input, latency, memory, or visual and audio token count. We analyze bottlenecks across frame sampling, modality encoding, connector-level token reduction, and LLM prefilling and decoding. We organize methods by the pipeline stage at which they act, covering VideoLLMs developed since late 2022 together with earlier frame-sampling and vision-encoder mechanisms that remain components of current pipelines. We assemble literature-reported accuracy--cost comparisons under shared host models and input protocols wherever available, distinguish them from heterogeneous cross-paper evidence, and identify gaps in audiovisual efficiency and standardized evaluation. We maintain a repository at https://github.com/momentslab/awesome-efficient-videollm.