FINER: MLLMs halluzinieren bei feingranularen negativen Anfragen
FINER: MLLMs Hallucinate under Fine-grained Negative Queries
March 18, 2026
Autoren: Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz
cs.AI
Zusammenfassung
Multimodale große Sprachmodelle (MLLMs) leiden unter Halluzinationen, insbesondere bei feingranularen Anfragen – eine Herausforderung, die von bestehenden Benchmarks, die sich auf grobe bildbezogene Fragen konzentrieren, unterrepräsentiert wird. Wir stellen FIne-grained NEgative queRies (FINER) vor, zusammen mit zwei Benchmarks: FINER-CompreCap und FINER-DOCCI. Mit FINER analysieren wir Halluzinationen in vier Settings: Multi-Objekt, Multi-Attribut, Multi-Relation und „Was“-Fragen. Unsere Benchmarks zeigen, dass MLLMs halluzinieren, wenn feingranulare Fehlanpassungen zusammen mit tatsächlich im Bild vorhandenen Elementen auftreten. Um dies zu adressieren, schlagen wir FINER-Tuning vor, das Direct Preference Optimization (DPO) auf FINER-inspirierten Daten nutzt. Das Finetuning von vier führenden MLLMs mit FINER-Tuning führt zu Verbesserungen von bis zu 24,2 % (InternVL3.5-14B) bei Halluzinationen in unseren Benchmarks, verbessert gleichzeitig die Leistung in acht bestehenden Halluzinations-Testreihen und steigert die allgemeinen multimodalen Fähigkeiten über sechs Benchmarks hinweg. Code, Benchmark und Modelle sind verfügbar unter https://explainableml.github.io/finer-project/.
English
Multimodal large language models (MLLMs) struggle with hallucinations, particularly with fine-grained queries, a challenge underrepresented by existing benchmarks that focus on coarse image-related questions. We introduce FIne-grained NEgative queRies (FINER), alongside two benchmarks: FINER-CompreCap and FINER-DOCCI. Using FINER, we analyze hallucinations across four settings: multi-object, multi-attribute, multi-relation, and ``what'' questions. Our benchmarks reveal that MLLMs hallucinate when fine-grained mismatches co-occur with genuinely present elements in the image. To address this, we propose FINER-Tuning, leveraging Direct Preference Optimization (DPO) on FINER-inspired data. Finetuning four frontier MLLMs with FINER-Tuning yields up to 24.2\% gains (InternVL3.5-14B) on hallucinations from our benchmarks, while simultaneously improving performance on eight existing hallucination suites, and enhancing general multimodal capabilities across six benchmarks. Code, benchmark, and models are available at https://explainableml.github.io/finer-project/{https://explainableml.github.io/finer-project/}.