К Робастному Гипердетализированному Описанию Изображений: Мультиагентный Подход и Двойные Метрики Оценки Фактичности и Покрытия

Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

December 20, 2024

Авторы: Saehyung Lee, Seunghyun Yoon, Trung Bui, Jing Shi, Sungroh Yoon

cs.AI

Аннотация

Мультимодальные модели большого размера (MLLM) отличаются в создании высокодетализированных подписей, но часто приводят к галлюцинациям. Наш анализ показывает, что существующие методы обнаружения галлюцинаций испытывают трудности с подробными подписями. Мы связываем это с увеличением зависимости MLLM от сгенерированного текста, а не от входного изображения, по мере увеличения длины последовательности. Для решения этой проблемы мы предлагаем мультиагентный подход, который использует сотрудничество LLM-MLLM для коррекции предоставленных подписей. Кроме того, мы представляем оценочную рамку и набор данных для облегчения систематического анализа подробных подписей. Наши эксперименты показывают, что наш предложенный метод оценки лучше соответствует человеческим суждениям о фактичности, чем существующие метрики, и что существующие подходы к улучшению фактичности MLLM могут оказаться недостаточными в задачах гипердетализированного описания изображений. В отличие от этого, наш предложенный метод значительно улучшает фактическую точность подписей, даже улучшая те, которые созданы GPT-4V. Наконец, мы выделяем ограничение бенчмаркинга, основанного на вопросах и ответах о визуальных данных, показывая, что производительность MLLM на таких бенчмарках может не коррелировать с его способностью генерировать подробные подписи изображений.

English

Multimodal large language models (MLLMs) excel at generating highly detailed captions but often produce hallucinations. Our analysis reveals that existing hallucination detection methods struggle with detailed captions. We attribute this to the increasing reliance of MLLMs on their generated text, rather than the input image, as the sequence length grows. To address this issue, we propose a multiagent approach that leverages LLM-MLLM collaboration to correct given captions. Additionally, we introduce an evaluation framework and a benchmark dataset to facilitate the systematic analysis of detailed captions. Our experiments demonstrate that our proposed evaluation method better aligns with human judgments of factuality than existing metrics and that existing approaches to improve the MLLM factuality may fall short in hyper-detailed image captioning tasks. In contrast, our proposed method significantly enhances the factual accuracy of captions, even improving those generated by GPT-4V. Finally, we highlight a limitation of VQA-centric benchmarking by demonstrating that an MLLM's performance on VQA benchmarks may not correlate with its ability to generate detailed image captions.