ChatPaper.aiChatPaper

TARS: Strategia MinMax ad Adattamento Token per la Riduzione delle Allucinazioni nei MLLM

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

July 29, 2025
Autori: Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang
cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLMs) abilitano il ragionamento visivo-linguistico, ma spesso generano output plausibili che sono fattualmente errati o visivamente non fondati, compromettendo così la loro affidabilità. L'ottimizzazione diretta delle preferenze (DPO) è una strategia comune per correggere le allucinazioni allineando gli output del modello con le preferenze umane. Le strategie DPO esistenti trattano tipicamente le preferenze relative alle allucinazioni come obiettivi fissi, basandosi su segnali di supervisione statici durante l'addestramento. Questo approccio tende a sovraadattarsi a indizi linguistici superficiali nei dati di preferenza, portando a rigidità distributiva e correlazioni spurie che compromettono il fondamento in informazioni visive causalmente rilevanti. Per superare questa limitazione, proponiamo TARS, una strategia di preferenza adattativa a livello di token che riformula la DPO come un problema di ottimizzazione min-max. TARS massimizza gli spostamenti distributivi a livello di token sotto vincoli semantici per simulare l'incertezza di allineamento, e minimizza simultaneamente la perdita attesa di preferenza sotto queste perturbazioni controllate. Questo obiettivo congiunto preserva il fondamento causale mitigando il sovraadattamento ai modelli di preferenza, riducendo così le allucinazioni nel ragionamento multimodale. Valutiamo TARS su più benchmark di allucinazioni e riscontriamo prestazioni costantemente solide. Utilizzando solo 4.8k campioni di preferenza e nessun feedback esperto, TARS riduce i tassi di allucinazione dal 26.4% al 13.2% e diminuisce il valore di cognizione da 2.5 a 0.4. Supera la DPO standard e raggiunge prestazioni paragonabili a GPT-4o su diverse metriche chiave.
English
Multimodal large language models (MLLMs) enable vision-language reasoning, yet often generate plausible outputs that are factually incorrect or visually ungrounded, thereby compromising their reliability. Direct preference optimization (DPO) is a common strategy for correcting hallucinations by aligning model outputs with human preferences. Existing DPO strategies typically treat hallucination-related preferences as fixed targets, relying on static supervision signals during training. This approach tends to overfit to superficial linguistic cues in preference data, leading to distributional rigidity and spurious correlations that impair grounding in causally relevant visual information. To overcome this limitation, we propose TARS, a token-adaptive preference strategy that reformulates DPO as a min-max optimization problem. TARS maximizes token-level distributional shifts under semantic constraints to simulate alignment uncertainty, and simultaneously minimizes the expected preference loss under these controlled perturbations. This joint objective preserves causal grounding while mitigating overfitting to preference patterns, thereby reducing hallucinations in multimodal reasoning. We evaluate TARS on multiple hallucination benchmarks and find consistently strong performance. Using only 4.8k preference samples and no expert feedback, TARS reduces hallucination rates from 26.4% to 13.2% and decreases cognition value from 2.5 to 0.4. It outperforms standard DPO and matches GPT-4o on several key metrics.
PDF52August 1, 2025