TARS : Stratégie de préférence adaptative MinMax par token pour la réduction des hallucinations dans les MLLMs

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

July 29, 2025

papers.authors: Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang

cs.AI

papers.abstract

Les modèles de langage multimodaux de grande taille (MLLMs) permettent un raisonnement visuel-linguistique, mais génèrent souvent des sorties plausibles qui sont factuellement incorrectes ou visuellement non fondées, compromettant ainsi leur fiabilité. L'optimisation directe des préférences (DPO) est une stratégie courante pour corriger les hallucinations en alignant les sorties du modèle avec les préférences humaines. Les stratégies DPO existantes traitent généralement les préférences liées aux hallucinations comme des cibles fixes, s'appuyant sur des signaux de supervision statiques pendant l'entraînement. Cette approche tend à surajuster les indices linguistiques superficiels dans les données de préférence, conduisant à une rigidité distributionnelle et à des corrélations fallacieuses qui altèrent l'ancrage dans les informations visuelles causalement pertinentes. Pour surmonter cette limitation, nous proposons TARS, une stratégie de préférence adaptative au niveau des tokens qui reformule la DPO comme un problème d'optimisation min-max. TARS maximise les variations distributionnelles au niveau des tokens sous contraintes sémantiques pour simuler l'incertitude d'alignement, et minimise simultanément la perte de préférence attendue sous ces perturbations contrôlées. Cet objectif conjoint préserve l'ancrage causal tout en atténuant le surajustement aux modèles de préférence, réduisant ainsi les hallucinations dans le raisonnement multimodal. Nous évaluons TARS sur plusieurs benchmarks d'hallucinations et observons une performance constamment élevée. En utilisant seulement 4,8k échantillons de préférence et sans retour d'expert, TARS réduit les taux d'hallucination de 26,4% à 13,2% et diminue la valeur de cognition de 2,5 à 0,4. Il surpasse la DPO standard et rivalise avec GPT-4o sur plusieurs métriques clés.

English

Multimodal large language models (MLLMs) enable vision-language reasoning, yet often generate plausible outputs that are factually incorrect or visually ungrounded, thereby compromising their reliability. Direct preference optimization (DPO) is a common strategy for correcting hallucinations by aligning model outputs with human preferences. Existing DPO strategies typically treat hallucination-related preferences as fixed targets, relying on static supervision signals during training. This approach tends to overfit to superficial linguistic cues in preference data, leading to distributional rigidity and spurious correlations that impair grounding in causally relevant visual information. To overcome this limitation, we propose TARS, a token-adaptive preference strategy that reformulates DPO as a min-max optimization problem. TARS maximizes token-level distributional shifts under semantic constraints to simulate alignment uncertainty, and simultaneously minimizes the expected preference loss under these controlled perturbations. This joint objective preserves causal grounding while mitigating overfitting to preference patterns, thereby reducing hallucinations in multimodal reasoning. We evaluate TARS on multiple hallucination benchmarks and find consistently strong performance. Using only 4.8k preference samples and no expert feedback, TARS reduces hallucination rates from 26.4% to 13.2% and decreases cognition value from 2.5 to 0.4. It outperforms standard DPO and matches GPT-4o on several key metrics.