TARS: Стратегия адаптивного предпочтения MinMax для уменьшения галлюцинаций в MLLM

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

July 29, 2025

Авторы: Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang

cs.AI

Аннотация

Мультимодальные крупные языковые модели (MLLMs) обеспечивают рассуждения на основе визуальной и текстовой информации, однако часто генерируют правдоподобные, но фактически неверные или визуально необоснованные результаты, что снижает их надежность. Оптимизация прямых предпочтений (DPO) является распространенной стратегией для исправления галлюцинаций путем согласования выходных данных модели с человеческими предпочтениями. Существующие стратегии DPO обычно рассматривают предпочтения, связанные с галлюцинациями, как фиксированные цели, полагаясь на статические сигналы контроля во время обучения. Такой подход склонен к переобучению на поверхностных лингвистических признаках в данных предпочтений, что приводит к распределительной жесткости и ложным корреляциям, ухудшающим обоснованность в причинно-следственной визуальной информации. Для преодоления этого ограничения мы предлагаем TARS, стратегию адаптивных предпочтений на уровне токенов, которая переформулирует DPO как задачу минимизации-максимизации. TARS максимизирует сдвиги распределений на уровне токенов при семантических ограничениях для моделирования неопределенности согласования и одновременно минимизирует ожидаемую потерю предпочтений при контролируемых возмущениях. Этот совместный подход сохраняет причинно-следственную обоснованность, смягчая переобучение на паттернах предпочтений, тем самым снижая галлюцинации в мультимодальных рассуждениях. Мы оцениваем TARS на нескольких бенчмарках галлюцинаций и наблюдаем стабильно высокую производительность. Используя всего 4,8 тыс. образцов предпочтений и без экспертной обратной связи, TARS снижает уровень галлюцинаций с 26,4% до 13,2% и уменьшает когнитивное значение с 2,5 до 0,4. Она превосходит стандартную DPO и соответствует GPT-4o по нескольким ключевым метрикам.

English

Multimodal large language models (MLLMs) enable vision-language reasoning, yet often generate plausible outputs that are factually incorrect or visually ungrounded, thereby compromising their reliability. Direct preference optimization (DPO) is a common strategy for correcting hallucinations by aligning model outputs with human preferences. Existing DPO strategies typically treat hallucination-related preferences as fixed targets, relying on static supervision signals during training. This approach tends to overfit to superficial linguistic cues in preference data, leading to distributional rigidity and spurious correlations that impair grounding in causally relevant visual information. To overcome this limitation, we propose TARS, a token-adaptive preference strategy that reformulates DPO as a min-max optimization problem. TARS maximizes token-level distributional shifts under semantic constraints to simulate alignment uncertainty, and simultaneously minimizes the expected preference loss under these controlled perturbations. This joint objective preserves causal grounding while mitigating overfitting to preference patterns, thereby reducing hallucinations in multimodal reasoning. We evaluate TARS on multiple hallucination benchmarks and find consistently strong performance. Using only 4.8k preference samples and no expert feedback, TARS reduces hallucination rates from 26.4% to 13.2% and decreases cognition value from 2.5 to 0.4. It outperforms standard DPO and matches GPT-4o on several key metrics.