비주얼 토큰 프루닝을 위한 AI4AI 프레임워크

초록

시각 토큰 프루닝은 다중모달 대규모 언어 모델(MLLM)의 추론 비용을 크게 줄일 수 있지만, 기존 방법들은 대부분 고정된 수작업 휴리스틱과 비용이 많이 드는 전문가의 시행착오에 의존한다. 프루닝 목표, 예산, 모델 아키텍처가 다양해짐에 따라 수동으로 확장되는 설계 공간을 탐색하는 것은 점점 더 어려워진다. 본 논문은 "대규모 언어 모델이 효과적인 시각 토큰 축소 알고리즘을 자동으로 설계할 수 있는가?"라는 자연스러운 질문에 답함으로써 시각 토큰 프루닝을 위한 AI4AI 프레임워크를 구축하는 것을 목표로 한다. LLM은 광범위한 알고리즘 지식과 강력한 추론 능력을 갖추고 있지만, 이러한 일반 지식을 특수 작업에 대한 효과적인 해결책으로 변환하는 것은 여전히 사소하지 않다. 우리는 핵심이 LLM의 내부 지식을 시각 토큰 프루닝의 구조적 요구사항 및 제약 조건과 연결하는 적절한 탐색 상태 표현을 설계하는 데 있다고 주장한다. 이러한 통찰에 기반하여, 우리는 LLM 기반 시각 토큰 프루닝 정책 설계를 위한 학습 없는 프레임워크인 AutoPrune을 제안한다. AutoPrune의 핵심은 예산 제어, 토큰 점수화, 선택 제약, 토큰 재조립을 위한 131개의 재사용 가능한 원자로 구성된 토큰 프루닝 도메인 특화 언어(TPDSL)를 도입하는 것이다. TPDSL의 핵심 속성은 각 탐색 상태를 강력한 기본 정책의 잔차 변형으로 표현한다는 점이다. 이 잔차 공식화는 탐색 공간을 축소하고 LLM의 주의를 성능에 가장 중요한 정책 구성 요소로 유도한다. 14개의 다중모달 벤치마크와 3개의 MLLM 백본에 대한 실험은 AutoPrune의 효과성, 효율성, 전이 가능성을 입증한다. AutoPrune은 시각 토큰의 94.4%를 제거하더라도 전체 토큰 성능의 99% 이상을 유지하면서 FLOPs를 9.9배, 프리필 지연 시간을 6.4배 줄인다.

English

Visual-token pruning can substantially reduce the inference cost of multimodal large language models (MLLMs), yet existing methods largely rely on fixed, handcrafted heuristics and costly expert trial and error. As pruning objectives, budgets, and model architectures diversify, manually navigating the expanding design space becomes increasingly difficult. This paper aims to build an AI4AI framework for visual-token pruning by addressing a natural question: Can large language models automatically design effective visual-token reduction algorithms? Although LLMs possess broad algorithmic knowledge and strong reasoning capabilities, translating such general knowledge into effective solutions for a specialized task remains nontrivial. We argue that the key lies in designing an appropriate search-state representation that connects the internal knowledge of LLMs with the structural requirements and constraints of visual-token pruning. Based on this insight, we propose AutoPrune, a training-free framework for LLM-driven visual-token pruning policy design. At its core, AutoPrune introduces a Token Pruning Domain-Specific Language (TPDSL) comprising 131 reusable atoms for budget control, token scoring, selection constraints, and token reassembly. A key property of TPDSL is that it represents each search state as a residual modification of a strong base policy. This residual formulation narrows the search space and directs the LLM's attention toward the policy components that are most consequential for performance. Experiments on 14 multimodal benchmarks and three MLLM backbones demonstrate the effectiveness, efficiency, and transferability of AutoPrune. Even when removing 94.4% of visual tokens, AutoPrune preserves more than 99% of full-token performance while reducing FLOPs by 9.9x and prefill latency by 6.4x.