MLLM이 주목하는 부분과 의존하는 요소: 자기회귀적 토큰 생성의 설명

초록

멀티모달 대형 언어 모델(MLLMs)은 시각적 입력과 자연어 출력을 정렬하는 데 있어 뛰어난 능력을 보여왔습니다. 그러나 생성된 토큰이 시각적 양상에 어느 정도 의존하는지는 여전히 잘 이해되지 않고 있어, 모델의 해석 가능성과 신뢰성을 제한하고 있습니다. 본 연구에서는 MLLM에서의 자기회귀적 토큰 생성을 설명하기 위한 경량 블랙박스 프레임워크인 EAGLE를 제안합니다. EAGLE는 선택된 토큰을 간결한 지각 영역에 귀속시키면서 언어 사전 지식과 지각적 증거의 상대적 영향을 정량화합니다. 이 프레임워크는 충분성(통찰 점수)과 필수성(필요성 점수)을 통합한 목적 함수를 도입하며, 희소화된 이미지 영역에 대한 탐욕적 탐색을 통해 신뢰할 수 있고 효율적인 귀속을 최적화합니다. 공간적 귀속을 넘어, EAGLE는 토큰이 무엇에 의존하는지를 분리하는 양상 인식 분석을 수행하여 모델 결정의 세밀한 해석 가능성을 제공합니다. 오픈소스 MLLM에 대한 광범위한 실험을 통해 EAGLE는 신뢰성, 지역화, 환각 진단 측면에서 기존 방법들을 일관되게 능가하며, GPU 메모리 사용량도 상당히 적은 것으로 나타났습니다. 이러한 결과는 MLLM의 해석 가능성을 발전시키는 데 있어 EAGLE의 효과성과 실용성을 강조합니다. 코드는 https://github.com/RuoyuChen10/EAGLE에서 확인할 수 있습니다.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in aligning visual inputs with natural language outputs. Yet, the extent to which generated tokens depend on visual modalities remains poorly understood, limiting interpretability and reliability. In this work, we present EAGLE, a lightweight black-box framework for explaining autoregressive token generation in MLLMs. EAGLE attributes any selected tokens to compact perceptual regions while quantifying the relative influence of language priors and perceptual evidence. The framework introduces an objective function that unifies sufficiency (insight score) and indispensability (necessity score), optimized via greedy search over sparsified image regions for faithful and efficient attribution. Beyond spatial attribution, EAGLE performs modality-aware analysis that disentangles what tokens rely on, providing fine-grained interpretability of model decisions. Extensive experiments across open-source MLLMs show that EAGLE consistently outperforms existing methods in faithfulness, localization, and hallucination diagnosis, while requiring substantially less GPU memory. These results highlight its effectiveness and practicality for advancing the interpretability of MLLMs. The code is available at https://github.com/RuoyuChen10/EAGLE.

MLLM이 주목하는 부분과 의존하는 요소: 자기회귀적 토큰 생성의 설명

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

초록

Support