ビジュアルトークンプルーニングのためのAI4AIフレームワーク

要旨

視覚トークン刈り込みは、マルチモーダル大規模言語モデル（MLLM）の推論コストを大幅に削減できる一方で、既存手法の多くは固定された人手設計のヒューリスティクスやコストのかかる専門家の試行錯誤に依存している。刈り込みの目的、予算、モデルアーキテクチャが多様化するにつれ、拡大し続ける設計空間を手動で探索することはますます困難になる。本論文は、視覚トークン刈り込みのためのAI4AIフレームワークの構築を目指し、次の自然な問いに取り組む。「大規模言語モデルは、効果的な視覚トークン削減アルゴリズムを自動設計できるのか」。LLMは幅広いアルゴリズム知識と強力な推論能力を備えているが、そのような一般的知識を専門タスクの効果的な解決策に変換することは依然として容易ではない。我々は、その鍵となるのは、LLMの内部知識と視覚トークン刈り込みの構造的要件および制約を結びつける適切な探索状態表現の設計であると主張する。この洞察に基づき、我々はAutoPruneを提案する。これは、LLM駆動型の視覚トークン刈り込みポリシー設計のための学習不要フレームワークである。AutoPruneは中核として、予算管理、トークンスコアリング、選択制約、トークン再構成のための131個の再利用可能なアトムから構成されるトークン刈り込みドメイン特化言語（TPDSL）を導入する。TPDSLの重要な特性は、各探索状態を強力なベースポリシーの残差修正として表現することである。この残差定式化は探索空間を狭め、LLMの注意を性能にとって最も重要なポリシー構成要素へと向けさせる。14のマルチモーダルベンチマークと3つのMLLMバックボーンにおける実験は、AutoPruneの有効性、効率性、および転移可能性を実証している。視覚トークンの94.4%を除去しても、AutoPruneは全トークン性能の99%以上を維持しつつ、FLOPsを9.9分の1、プリフィル遅延を6.4分の1に削減する。

English

Visual-token pruning can substantially reduce the inference cost of multimodal large language models (MLLMs), yet existing methods largely rely on fixed, handcrafted heuristics and costly expert trial and error. As pruning objectives, budgets, and model architectures diversify, manually navigating the expanding design space becomes increasingly difficult. This paper aims to build an AI4AI framework for visual-token pruning by addressing a natural question: Can large language models automatically design effective visual-token reduction algorithms? Although LLMs possess broad algorithmic knowledge and strong reasoning capabilities, translating such general knowledge into effective solutions for a specialized task remains nontrivial. We argue that the key lies in designing an appropriate search-state representation that connects the internal knowledge of LLMs with the structural requirements and constraints of visual-token pruning. Based on this insight, we propose AutoPrune, a training-free framework for LLM-driven visual-token pruning policy design. At its core, AutoPrune introduces a Token Pruning Domain-Specific Language (TPDSL) comprising 131 reusable atoms for budget control, token scoring, selection constraints, and token reassembly. A key property of TPDSL is that it represents each search state as a residual modification of a strong base policy. This residual formulation narrows the search space and directs the LLM's attention toward the policy components that are most consequential for performance. Experiments on 14 multimodal benchmarks and three MLLM backbones demonstrate the effectiveness, efficiency, and transferability of AutoPrune. Even when removing 94.4% of visual tokens, AutoPrune preserves more than 99% of full-token performance while reducing FLOPs by 9.9x and prefill latency by 6.4x.