Perspectivas Multidimensionales: Evaluación Comparativa de la Personalización en el Mundo Real en Modelos Multimodales Grandes

Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

December 17, 2024

Autores: YiFan Zhang, Shanglin Lei, Runqi Qiao, Zhuoma GongQue, Xiaoshuai Song, Guanting Dong, Qiuna Tan, Zhe Wei, Peiqing Yang, Ye Tian, Yadong Xue, Xiaofei Wang, Honggang Zhang

cs.AI

Resumen

El campo en rápido desarrollo de los modelos grandes multimodales (LMMs) ha dado lugar a la aparición de diversos modelos con capacidades notables. Sin embargo, los benchmarks existentes no logran evaluar de manera integral, objetiva y precisa si los LMMs se alinean con las diversas necesidades de los humanos en escenarios del mundo real. Para cerrar esta brecha, proponemos el benchmark de Perspectivas Multi-Dimensionales (MDI), que incluye más de 500 imágenes que abarcan seis escenarios comunes de la vida humana. Es importante destacar que el Benchmark MDI ofrece dos ventajas significativas sobre las evaluaciones existentes: (1) Cada imagen está acompañada de dos tipos de preguntas: preguntas simples para evaluar la comprensión del modelo de la imagen, y preguntas complejas para evaluar la capacidad del modelo de analizar y razonar más allá del contenido básico. (2) Reconociendo que las personas de diferentes grupos de edad tienen necesidades y perspectivas variables al enfrentarse al mismo escenario, nuestro benchmark estratifica las preguntas en tres categorías de edad: personas jóvenes, personas de mediana edad y personas mayores. Este diseño permite una evaluación detallada de las capacidades de los LMMs para satisfacer las preferencias y necesidades de diferentes grupos de edad. Con el Benchmark MDI, modelos sólidos como GPT-4 logran un 79% de precisión en tareas relacionadas con la edad, lo que indica que los LMMs existentes aún tienen un considerable margen de mejora en la atención a aplicaciones del mundo real. Mirando hacia el futuro, anticipamos que el Benchmark MDI abrirá nuevos caminos para alinear la personalización del mundo real en los LMMs. Los datos y el código de evaluación del Benchmark MDI están disponibles en https://mdi-benchmark.github.io/

English

The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/