Vers une description d'image hyper-détaillée robuste : Une approche multi-agent et des métriques d'évaluation doubles pour la factualité et la couverture.

Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

December 20, 2024

Auteurs: Saehyung Lee, Seunghyun Yoon, Trung Bui, Jing Shi, Sungroh Yoon

cs.AI

Résumé

Les grands modèles de langage multimodaux (MLLM) excellent dans la génération de légendes très détaillées mais produisent souvent des hallucinations. Notre analyse révèle que les méthodes existantes de détection d'hallucinations ont du mal avec les légendes détaillées. Nous attribuons cela à la dépendance croissante des MLLMs à leur texte généré, plutôt qu'à l'image d'entrée, à mesure que la longueur de la séquence augmente. Pour résoudre ce problème, nous proposons une approche multi-agent qui exploite la collaboration LLM-MLLM pour corriger les légendes données. De plus, nous introduisons un cadre d'évaluation et un ensemble de données de référence pour faciliter l'analyse systématique des légendes détaillées. Nos expériences montrent que notre méthode d'évaluation proposée est mieux alignée avec les jugements humains de la factualité que les métriques existantes et que les approches actuelles pour améliorer la factualité des MLLM peuvent être insuffisantes dans les tâches de légendage d'images hyper-détaillées. En revanche, notre méthode proposée améliore significativement l'exactitude factuelle des légendes, améliorant même celles générées par GPT-4V. Enfin, nous soulignons une limitation de l'évaluation centrée sur VQA en démontrant que la performance d'un MLLM sur les référentiels VQA peut ne pas être corrélée avec sa capacité à générer des légendes d'images détaillées.

English

Multimodal large language models (MLLMs) excel at generating highly detailed captions but often produce hallucinations. Our analysis reveals that existing hallucination detection methods struggle with detailed captions. We attribute this to the increasing reliance of MLLMs on their generated text, rather than the input image, as the sequence length grows. To address this issue, we propose a multiagent approach that leverages LLM-MLLM collaboration to correct given captions. Additionally, we introduce an evaluation framework and a benchmark dataset to facilitate the systematic analysis of detailed captions. Our experiments demonstrate that our proposed evaluation method better aligns with human judgments of factuality than existing metrics and that existing approaches to improve the MLLM factuality may fall short in hyper-detailed image captioning tasks. In contrast, our proposed method significantly enhances the factual accuracy of captions, even improving those generated by GPT-4V. Finally, we highlight a limitation of VQA-centric benchmarking by demonstrating that an MLLM's performance on VQA benchmarks may not correlate with its ability to generate detailed image captions.