멀티모달 모델 디퓨잉을 통한 특징 발견 및 제어

초록

다중모달 대규모 언어 모델(MLLM)은 강력한 시각적 이해 능력을 보이지만, 이러한 행동을 유발하는 내부 특징은 식별, 감사, 제어하기 어렵다. 사후 검사에는 적용할 수 있지만, 희소 오토인코더(SAE)를 사용하여 해석 가능한 특징 방향으로 분해된 은닉 상태는 다중모달 훈련에 의해 변경된 특징을 쉽게 분리하지도 못하며, 표적 제어에 직접적으로 유용하지도 않다. 우리는 다중모달 SAE를 훈련하고 이를 다중모달 행동을 발견하고 제어하기 위한 특징 수준 인터페이스로 전환하는 다중모달 모델 차이 분석(diffing) 프레임워크인 MMDiff를 도입한다. MMDiff는 세 가지 용도를 지원한다: (i) 기본 언어 모델(base-LM) SAE를 다중모달 적응 대응 모델과 비교(diff)하여 다중모달 훈련에 의해 변경된 특징을 식별하는 특징 분리, (ii) 토큰별 대비 활성 분석을 통해 인과적 특징을 분리해 내는 작업 특화 특징 탐지, (iii) 발견된 특징 방향을 인과적으로 제거하거나 조종(스티어링)하는 특징 수준 제어. 우리는 LLaVA-MORE, PaliGemma 2, InternVL3.5의 세 가지 MLLM 계열에 대해 다중모달 SAE를 훈련하고 시각-공간 이해, 다중모달 안전성, OCR로 평가한다. MMDiff는 희소하고 인과적으로 특이적인 특징을 발견하며, 그 제거는 공간 과제에서 평균 12%, OCR에서 17%의 대상 행동을 선택적으로 저하시키고 다중모달 안전성 공격에 대한 공격 성공률을 24% 감소시키며 VQA 성능에는 영향을 미치지 않는다. 이러한 특징을 조종하면 표준 단일 계층 스티어링 기준선 대비 공간 및 OCR 정확도를 평균 +3.6% 및 +1.8% 향상시킨다. 이러한 결과는 다중모달 SAE가 해석 가능성 도구일 뿐만 아니라 더 안전하고 더 유능한 생성을 위해 MLLM의 행동을 감사, 조종, 제어하는 메커니즘으로 기능할 수 있음을 보여준다.

English

Multimodal Large Language Models (MLLMs) exhibit strong visual understanding, yet the internal features that cause these behaviors remain difficult to identify, audit, or control. While applicable to post-hoc inspection, hidden states that are decomposed into interpretable feature directions using sparse autoencoders (SAEs) neither readily isolate which features are changed by multimodal training, nor are they directly useful for targeted control. We introduce MMDiff, a multimodal model-diffing framework that trains multimodal SAEs and turns them into feature-level interfaces for discovering and controlling multimodal behavior. MMDiff supports three uses: (i) feature isolation, by diffing a base-LM SAE against its multimodal-adapted counterpart to identify features altered by multimodal training; (ii) task-specific feature detection, via per-token contrastive firing analysis that isolates causal features; and (iii) feature-level control, by causally removing or steering the discovered feature directions. We train multimodal SAEs for three MLLM families, LLaVA-MORE, PaliGemma 2, and InternVL3.5, and evaluate on visual-spatial understanding, multimodal safety, and OCR. MMDiff discovers sparse, causally specific features whose removal selectively degrades target behaviors by an average of 12% on spatial tasks and 17% on OCR, and reduces attack success rate by 24% on multimodal safety attacks, with no impact on VQA performance. Steering these features improves spatial and OCR accuracy by +3.6% and +1.8% on average over a standard single-layer steering baseline. These results show that multimodal SAEs can serve not only as interpretability tools, but as mechanisms for auditing, steering, and controlling MLLMs behavior toward safer and more capable generations.