Hacia una Descripción de Imágenes Hiperdetallada Robusta: Un Enfoque Multiagente y Métricas de Evaluación Dual para la Factualidad y Cobertura

Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

December 20, 2024

Autores: Saehyung Lee, Seunghyun Yoon, Trung Bui, Jing Shi, Sungroh Yoon

cs.AI

Resumen

Los modelos de lenguaje multimodales grandes (MLLMs) destacan en la generación de subtítulos altamente detallados pero a menudo producen alucinaciones. Nuestro análisis revela que los métodos existentes de detección de alucinaciones tienen dificultades con los subtítulos detallados. Atribuimos esto a la creciente dependencia de los MLLMs en su texto generado, en lugar de la imagen de entrada, a medida que la longitud de la secuencia aumenta. Para abordar este problema, proponemos un enfoque multiagente que aprovecha la colaboración LLM-MLLM para corregir los subtítulos dados. Además, presentamos un marco de evaluación y un conjunto de datos de referencia para facilitar el análisis sistemático de subtítulos detallados. Nuestros experimentos demuestran que nuestro método de evaluación propuesto se alinea mejor con los juicios humanos sobre la veracidad que las métricas existentes, y que los enfoques existentes para mejorar la veracidad de los MLLM pueden quedarse cortos en tareas de subtitulado de imágenes hiperdetalladas. Por el contrario, nuestro método propuesto mejora significativamente la precisión factual de los subtítulos, incluso mejorando aquellos generados por GPT-4V. Finalmente, destacamos una limitación de la evaluación centrada en VQA al demostrar que el rendimiento de un MLLM en los conjuntos de datos de VQA puede no correlacionar con su capacidad para generar subtítulos detallados de imágenes.

English

Multimodal large language models (MLLMs) excel at generating highly detailed captions but often produce hallucinations. Our analysis reveals that existing hallucination detection methods struggle with detailed captions. We attribute this to the increasing reliance of MLLMs on their generated text, rather than the input image, as the sequence length grows. To address this issue, we propose a multiagent approach that leverages LLM-MLLM collaboration to correct given captions. Additionally, we introduce an evaluation framework and a benchmark dataset to facilitate the systematic analysis of detailed captions. Our experiments demonstrate that our proposed evaluation method better aligns with human judgments of factuality than existing metrics and that existing approaches to improve the MLLM factuality may fall short in hyper-detailed image captioning tasks. In contrast, our proposed method significantly enhances the factual accuracy of captions, even improving those generated by GPT-4V. Finally, we highlight a limitation of VQA-centric benchmarking by demonstrating that an MLLM's performance on VQA benchmarks may not correlate with its ability to generate detailed image captions.