Perspectives Multidimensionnelles : Étalonnage de la Personnalisation du Monde Réel dans les Grands Modèles Multimodaux

Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

December 17, 2024

Auteurs: YiFan Zhang, Shanglin Lei, Runqi Qiao, Zhuoma GongQue, Xiaoshuai Song, Guanting Dong, Qiuna Tan, Zhe Wei, Peiqing Yang, Ye Tian, Yadong Xue, Xiaofei Wang, Honggang Zhang

cs.AI

Résumé

Le domaine en rapide évolution des grands modèles multimodaux (LMM) a conduit à l'émergence de modèles divers avec des capacités remarquables. Cependant, les benchmarks existants échouent à évaluer de manière exhaustive, objective et précise si les LMM répondent aux divers besoins des humains dans des scénarios du monde réel. Pour combler cette lacune, nous proposons le benchmark des Perspectives Multi-Dimensionnelles (MDI), qui comprend plus de 500 images couvrant six scénarios communs de la vie humaine. Notamment, le MDI-Benchmark offre deux avantages significatifs par rapport aux évaluations existantes : (1) Chaque image est accompagnée de deux types de questions : des questions simples pour évaluer la compréhension du modèle de l'image, et des questions complexes pour évaluer la capacité du modèle à analyser et raisonner au-delà du contenu de base. (2) Reconnaissant que les personnes de différents groupes d'âge ont des besoins et des perspectives variés lorsqu'elles sont confrontées au même scénario, notre benchmark stratifie les questions en trois catégories d'âge : les jeunes, les personnes d'âge moyen et les personnes âgées. Cette conception permet une évaluation détaillée des capacités des LMM à répondre aux préférences et aux besoins des différents groupes d'âge. Avec le MDI-Benchmark, un modèle puissant comme GPT-4o atteint une précision de 79 % sur les tâches liées à l'âge, ce qui indique que les LMM existants ont encore un potentiel d'amélioration considérable pour répondre aux applications du monde réel. En regardant vers l'avenir, nous anticipons que le MDI-Benchmark ouvrira de nouvelles voies pour aligner la personnalisation du monde réel dans les LMM. Les données et le code d'évaluation du MDI-Benchmark sont disponibles sur https://mdi-benchmark.github.io/

English

The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/