TARS: Estratégia de Preferência Adaptativa de Tokens MinMax para Redução de Alucinações em MLLMs

TARS: MinMax Token-Adaptive Preference Strategy for Hallucination Reduction in MLLMs

July 29, 2025

Autores: Kejia Zhang, Keda Tao, Zhiming Luo, Chang Liu, Jiasheng Tang, Huan Wang

cs.AI

Resumo

Modelos de linguagem multimodal de grande escala (MLLMs) permitem o raciocínio visão-linguagem, mas frequentemente geram saídas plausíveis que são factualmente incorretas ou visualmente infundadas, comprometendo assim sua confiabilidade. A otimização de preferência direta (DPO) é uma estratégia comum para corrigir alucinações, alinhando as saídas do modelo com as preferências humanas. As estratégias de DPO existentes geralmente tratam as preferências relacionadas a alucinações como metas fixas, dependendo de sinais de supervisão estáticos durante o treinamento. Essa abordagem tende a superajustar-se a pistas linguísticas superficiais nos dados de preferência, levando a rigidez distribucional e correlações espúrias que prejudicam o fundamento em informações visuais causalmente relevantes. Para superar essa limitação, propomos o TARS, uma estratégia de preferência adaptativa por token que reformula o DPO como um problema de otimização min-max. O TARS maximiza mudanças distribucionais em nível de token sob restrições semânticas para simular incerteza de alinhamento e, simultaneamente, minimiza a perda de preferência esperada sob essas perturbações controladas. Esse objetivo conjunto preserva o fundamento causal enquanto mitiga o superajuste a padrões de preferência, reduzindo assim as alucinações no raciocínio multimodal. Avaliamos o TARS em vários benchmarks de alucinação e encontramos um desempenho consistentemente forte. Usando apenas 4,8 mil amostras de preferência e sem feedback de especialistas, o TARS reduz as taxas de alucinação de 26,4% para 13,2% e diminui o valor de cognição de 2,5 para 0,4. Ele supera o DPO padrão e iguala o GPT-4o em várias métricas-chave.

English

Multimodal large language models (MLLMs) enable vision-language reasoning, yet often generate plausible outputs that are factually incorrect or visually ungrounded, thereby compromising their reliability. Direct preference optimization (DPO) is a common strategy for correcting hallucinations by aligning model outputs with human preferences. Existing DPO strategies typically treat hallucination-related preferences as fixed targets, relying on static supervision signals during training. This approach tends to overfit to superficial linguistic cues in preference data, leading to distributional rigidity and spurious correlations that impair grounding in causally relevant visual information. To overcome this limitation, we propose TARS, a token-adaptive preference strategy that reformulates DPO as a min-max optimization problem. TARS maximizes token-level distributional shifts under semantic constraints to simulate alignment uncertainty, and simultaneously minimizes the expected preference loss under these controlled perturbations. This joint objective preserves causal grounding while mitigating overfitting to preference patterns, thereby reducing hallucinations in multimodal reasoning. We evaluate TARS on multiple hallucination benchmarks and find consistently strong performance. Using only 4.8k preference samples and no expert feedback, TARS reduces hallucination rates from 26.4% to 13.2% and decreases cognition value from 2.5 to 0.4. It outperforms standard DPO and matches GPT-4o on several key metrics.