TARS: MinMax Token-adaptive Präferenzstrategie zur Reduzierung von Halluzinationen in MLLMs

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

July 29, 2025

papers.authors: Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang

cs.AI

papers.abstract

Multimodale große Sprachmodelle (MLLMs) ermöglichen visuell-sprachliches Schließen, erzeugen jedoch oft plausible Ausgaben, die faktisch falsch oder visuell unbegründet sind, was ihre Zuverlässigkeit beeinträchtigt. Die direkte Präferenzoptimierung (Direct Preference Optimization, DPO) ist eine gängige Strategie zur Korrektur von Halluzinationen, indem Modellausgaben an menschliche Präferenzen angepasst werden. Bestehende DPO-Strategien behandeln halluzinationsbezogene Präferenzen typischerweise als feste Ziele und verlassen sich während des Trainings auf statische Überwachungssignale. Dieser Ansatz neigt dazu, sich an oberflächliche linguistische Hinweise in den Präferenzdaten zu überanpassen, was zu distributioneller Starrheit und falschen Korrelationen führt, die die Verankerung in kausal relevanten visuellen Informationen beeinträchtigen. Um diese Einschränkung zu überwinden, schlagen wir TARS vor, eine token-adaptive Präferenzstrategie, die DPO als ein Min-Max-Optimierungsproblem neu formuliert. TARS maximiert token-spezifische Verteilungsverschiebungen unter semantischen Einschränkungen, um Unsicherheiten in der Ausrichtung zu simulieren, und minimiert gleichzeitig den erwarteten Präferenzverlust unter diesen kontrollierten Störungen. Dieses gemeinsame Ziel bewahrt die kausale Verankerung, während es die Überanpassung an Präferenzmuster reduziert und dadurch Halluzinationen im multimodalen Schließen verringert. Wir evaluieren TARS anhand mehrerer Halluzinations-Benchmarks und finden durchweg starke Leistungen. Mit nur 4,8k Präferenzproben und ohne Expertenfeedback reduziert TARS die Halluzinationsrate von 26,4 % auf 13,2 % und verringert den Kognitionswert von 2,5 auf 0,4. Es übertrifft Standard-DPO und erreicht GPT-4o in mehreren Schlüsselmetriken.

English

Multimodal large language models (MLLMs) enable vision-language reasoning, yet often generate plausible outputs that are factually incorrect or visually ungrounded, thereby compromising their reliability. Direct preference optimization (DPO) is a common strategy for correcting hallucinations by aligning model outputs with human preferences. Existing DPO strategies typically treat hallucination-related preferences as fixed targets, relying on static supervision signals during training. This approach tends to overfit to superficial linguistic cues in preference data, leading to distributional rigidity and spurious correlations that impair grounding in causally relevant visual information. To overcome this limitation, we propose TARS, a token-adaptive preference strategy that reformulates DPO as a min-max optimization problem. TARS maximizes token-level distributional shifts under semantic constraints to simulate alignment uncertainty, and simultaneously minimizes the expected preference loss under these controlled perturbations. This joint objective preserves causal grounding while mitigating overfitting to preference patterns, thereby reducing hallucinations in multimodal reasoning. We evaluate TARS on multiple hallucination benchmarks and find consistently strong performance. Using only 4.8k preference samples and no expert feedback, TARS reduces hallucination rates from 26.4% to 13.2% and decreases cognition value from 2.5 to 0.4. It outperforms standard DPO and matches GPT-4o on several key metrics.