Naar Robuuste Hyper-Gedetailleerde Afbeeldingsbijschriften: Een Multi-agent Benadering en Dubbele Evaluatiemetingen voor Feitelijkheid en Dekking

Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

December 20, 2024

Auteurs: Saehyung Lee, Seunghyun Yoon, Trung Bui, Jing Shi, Sungroh Yoon

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLM's) excelleren in het genereren van zeer gedetailleerde bijschriften, maar produceren vaak hallucinaties. Onze analyse onthult dat bestaande methoden voor hallucinatiedetectie moeite hebben met gedetailleerde bijschriften. We schrijven dit toe aan het toenemende vertrouwen van MLLM's op hun gegenereerde tekst, in plaats van de invoerafbeelding, naarmate de sequentielengte toeneemt. Om dit probleem aan te pakken, stellen we een multi-agent aanpak voor die gebruikmaakt van LLM-MLLM samenwerking om gegeven bijschriften te corrigeren. Daarnaast introduceren we een evaluatiekader en een benchmark dataset om de systematische analyse van gedetailleerde bijschriften te vergemakkelijken. Onze experimenten tonen aan dat onze voorgestelde evaluatiemethode beter overeenkomt met menselijke oordelen over feitelijkheid dan bestaande metrieken, en dat bestaande benaderingen om de feitelijkheid van MLLM's te verbeteren tekort kunnen schieten bij hypergedetailleerde afbeeldingsbijschriften. Daarentegen verbetert onze voorgestelde methode aanzienlijk de feitelijke nauwkeurigheid van bijschriften, zelfs die gegenereerd door GPT-4V. Tot slot benadrukken we een beperking van VQA-gecentreerde benchmarking door aan te tonen dat de prestaties van een MLLM op VQA-benchmarks mogelijk niet correleren met zijn vermogen om gedetailleerde afbeeldingsbijschriften te genereren.

English

Multimodal large language models (MLLMs) excel at generating highly detailed captions but often produce hallucinations. Our analysis reveals that existing hallucination detection methods struggle with detailed captions. We attribute this to the increasing reliance of MLLMs on their generated text, rather than the input image, as the sequence length grows. To address this issue, we propose a multiagent approach that leverages LLM-MLLM collaboration to correct given captions. Additionally, we introduce an evaluation framework and a benchmark dataset to facilitate the systematic analysis of detailed captions. Our experiments demonstrate that our proposed evaluation method better aligns with human judgments of factuality than existing metrics and that existing approaches to improve the MLLM factuality may fall short in hyper-detailed image captioning tasks. In contrast, our proposed method significantly enhances the factual accuracy of captions, even improving those generated by GPT-4V. Finally, we highlight a limitation of VQA-centric benchmarking by demonstrating that an MLLM's performance on VQA benchmarks may not correlate with its ability to generate detailed image captions.