한 번에 하나의 토큰씩 멀티모달 생성에 주목하기

초록

다중 모드 대규모 언어 모델(MLLM)은 시각 및 언어 정보를 진화하는 맥락에서 통합하며 자기회귀적으로 응답을 생성한다. 해석 가능성에 대한 기존 연구는 개별 층과 회로(어디서)에 초점을 맞춰 왔으며, 생성 중 다중 모드 계산의 토큰 수준 동역학(언제)은 충분히 탐구되지 않았다. 본 연구는 이러한 간극을 해소하고 의미 역할에 따른 주의 전환을 분석하며, 모델이 이미지, 텍스트, 명령어, 이전에 생성된 토큰에 주의를 기울이는 양상을 한 번에 하나의 토큰(One Token at a Time, OTaT) 방식으로 추적한다. 단일 응답 내에서 시각적 맥락과 텍스트 맥락 간 명시적 전환이 필요한 다중 모드 과제를 도입한다. 두 가지 주류 모델 계열과 네 가지 공개 가중치 MLLM(서로 다른 크기)에 걸쳐 일관된 패턴을 확인한다. 이미지에 대한 주의는 이미지에서 유래한 정보가 필요한 토큰에서 최고조에 달하며, 명령어 토큰은 작업 전환 중 재방문되고, 이전에 생성된 토큰에 대한 주의는 생성이 진행됨에 따라 증가한다. 인과적 주의 차단 개입을 통해 이러한 경향의 기능적 역할을 검증한다. 주의가 방해받은 상황에서의 모델 행동을 특성화하며, 응답이 언어 사전 지식으로 회귀하거나 교차 모드 누출, 거부, 복구를 보이는 현상을 관찰한다. 마지막으로, 새로운 분석을 통해 밝혀낸 주의 동역학을 바탕으로 적시에 관련 모드에 대한 주의를 강화하는 간단한 테스트 시간 개입을 제안하며, 이를 통해 다중 모드 작업 성능을 크게 향상시킨다.

English

Multimodal large language models (MLLMs) generate responses autoregressively, integrating visual and linguistic information in an evolving context. Prior work on interpretability has focused on individual layers and circuits (where), leaving the token-level dynamics of multimodal computation during generation (when) underexplored. We address this gap and study attention shifts as per semantic role; tracking model attention to image, text, instruction, and previously generated tokens, One Token at a Time (OTaT). We introduce multimodal tasks that require explicit switching between visual and textual context within a single response. Across two mainstream model families and four open-weight MLLMs of varying sizes, we establish consistent patterns: attention to image peaks at tokens requiring image-derived information, instruction tokens are revisited during task transitions, and attention to previously generated tokens increases as the generation progresses. Causal attention blocking interventions validate the functional role of these trends. We profile model behavior under disrupted attention and observe responses falling back to language priors, or exhibiting cross-modal leakage, denial, or recovery. Finally, informed of the attention dynamics through our novel analysis, we propose a simple test-time intervention to boost attention to the relevant modality at the right time, significantly improving multimodal task performance.