비대칭 상호 변분 학습을 통한 다중 모달 연속 추론

초록

다중 모달 대규모 언어 모델(MLLM)은 종종 언어 공간 병목 현상에 의해 제약을 받아, 복잡한 시각적 추론을 이산 토큰으로 강제 변환함으로써 지각적 미묘함을 잃을 수 있다. 유망한 대안은 연속 잠재 추론으로, 다중 모달 질의와 최종 답변을 연결하는 암시적 추론 경로를 발견하는 것이 목표이다. 그러나 이는 심각한 학습-추론 불일치를 초래한다. 즉, 정답에 조건화된 학습 시점의 사후 분포가 답변에 의존적인 지름길을 활용할 수 있다. 표준 변분 학습은 추론 시점의 사전 분포가 테스트 시점에는 이용 불가능한 정보에 접근할 수 있는 사후 분포를 모방하도록 강제하여, 성능 저하를 유발한다. 이를 해결하기 위해, 우리는 비대칭 상호 변분 학습(AMVL) 프레임워크를 제안한다. 이는 양방향 보정 목표를 통해 이러한 불일치를 해결한다. 순방향 KL 발산은 목표-무관 사전 분포가 사후 분포를 따르도록 학습시키는 반면, 새로운 역방향 KL 발산은 동시에 사후 분포를 정규화하여 추론과 호환되지 않는 영역으로 붕괴되는 것을 방지하고 '답변 누수'를 완화한다. 우리는 이 누수를 사전 분포 오염으로 공식화하는 이론적 분석을 제공하고, 이중 KL 목표가 이를 줄임을 증명한다. 우리는 AMVL을 잠재 통합 MLLM에 구현하였으며, 강력한 이산 및 잠재 추론 기준 모델들을 일관되게 능가하여 복잡한 BLINK 벤치마크에서 평균 점수를 +10.83 향상시키고, 개별 추론 과제에서 최대 +32.00의 성능 향상을 달성하였으며, 분석을 통해 잠재 공간 안정성이 개선됨을 확인하였다.

English

Multimodal Large Language Models (MLLMs) are often constrained by a language-space bottleneck, forcing complex visual reasoning into discrete tokens which can lose perceptual nuance. A promising alternative is continuous latent reasoning, where the goal is to discover implicit reasoning pathways that bridge the multimodal query and the final answer. However, this introduces a severe train-inference mismatch: a training-time posterior, conditioned on the ground-truth answer, can exploit answer-dependent shortcuts. Standard variational training then forces the inference-time prior to mimic a posterior that has access to information unavailable at test time, leading to poor performance. To address this, we propose Asymmetric Mutual Variational Learning (AMVL), a framework that resolves this mismatch via a bidirectional calibration objective. A forward KL divergence trains the target-agnostic prior to match the posterior, while a novel reverse KL divergence simultaneously regularizes the posterior, preventing it from collapsing into inference-incompatible regions and mitigating this ``answer leakage''. We provide theoretical analysis formalizing this leakage as prior contamination and prove that our dual-KL objective reduces it. We instantiate AMVL in a latent-integrated MLLM and show that it consistently outperforms strong discrete and latent-reasoning baselines, improving the average score on the complex BLINK benchmark by +10.83 and achieving gains of up to +32.00 on individual reasoning tasks, with analyses confirming improved latent-space stability.