Raisonnement continu multimodal via un apprentissage variationnel mutuel asymétrique

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) sont souvent limités par un goulot d'étranglement dans l'espace linguistique, qui force un raisonnement visuel complexe à passer par des jetons discrets, entraînant une perte de nuances perceptuelles. Une alternative prometteuse réside dans le raisonnement latent continu, dont l'objectif est de découvrir des chemins de raisonnement implicites faisant le pont entre la requête multimodale et la réponse finale. Cependant, cela introduit un sévère décalage entre l'entraînement et l'inférence : une postérieure en phase d'entraînement, conditionnée par la réponse de référence, peut exploiter des raccourcis dépendants de la réponse. L'entraînement variationnel standard force alors l'a priori en phase d'inférence à imiter une postérieure qui a accès à des informations indisponibles au moment du test, ce qui conduit à de mauvaises performances. Pour résoudre ce problème, nous proposons l'Apprentissage Variationnel Mutuel Asymétrique (AMVL), un cadre qui résout ce décalage via un objectif de calibration bidirectionnelle. Une divergence KL directe entraîne l'a priori indépendant de la cible à correspondre à la postérieure, tandis qu'une divergence KL inverse novatrice régularise simultanément la postérieure, l'empêchant de se réduire à des régions incompatibles avec l'inférence et atténuant cette « fuite de réponse ». Nous fournissons une analyse théorique formalisant cette fuite comme une contamination de l'a priori et prouvons que notre objectif double-KL la réduit. Nous instancions l'AMVL dans un MLLM à intégration latente et montrons qu'il surpasse systématiquement les références solides en raisonnement discret et latent, améliorant le score moyen sur le benchmark complexe BLINK de +10,83 et obtenant des gains allant jusqu'à +32,00 sur des tâches de raisonnement individuelles, avec des analyses confirmant une meilleure stabilité de l'espace latent.

English

Multimodal Large Language Models (MLLMs) are often constrained by a language-space bottleneck, forcing complex visual reasoning into discrete tokens which can lose perceptual nuance. A promising alternative is continuous latent reasoning, where the goal is to discover implicit reasoning pathways that bridge the multimodal query and the final answer. However, this introduces a severe train-inference mismatch: a training-time posterior, conditioned on the ground-truth answer, can exploit answer-dependent shortcuts. Standard variational training then forces the inference-time prior to mimic a posterior that has access to information unavailable at test time, leading to poor performance. To address this, we propose Asymmetric Mutual Variational Learning (AMVL), a framework that resolves this mismatch via a bidirectional calibration objective. A forward KL divergence trains the target-agnostic prior to match the posterior, while a novel reverse KL divergence simultaneously regularizes the posterior, preventing it from collapsing into inference-incompatible regions and mitigating this ``answer leakage''. We provide theoretical analysis formalizing this leakage as prior contamination and prove that our dual-KL objective reduces it. We instantiate AMVL in a latent-integrated MLLM and show that it consistently outperforms strong discrete and latent-reasoning baselines, improving the average score on the complex BLINK benchmark by +10.83 and achieving gains of up to +32.00 on individual reasoning tasks, with analyses confirming improved latent-space stability.