Multidimensionale Einblicke: Benchmarking der Personalisierung in der realen Welt in großen multimodalen Modellen

Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

December 17, 2024

Autoren: YiFan Zhang, Shanglin Lei, Runqi Qiao, Zhuoma GongQue, Xiaoshuai Song, Guanting Dong, Qiuna Tan, Zhe Wei, Peiqing Yang, Ye Tian, Yadong Xue, Xiaofei Wang, Honggang Zhang

cs.AI

Zusammenfassung

Das sich schnell entwickelnde Gebiet der großen multimodalen Modelle (LMMs) hat zur Entstehung verschiedener Modelle mit bemerkenswerten Fähigkeiten geführt. Allerdings versagen bestehende Benchmarks dabei, umfassend, objektiv und genau zu bewerten, ob LMMs mit den vielfältigen Bedürfnissen von Menschen in realen Szenarien übereinstimmen. Um diese Lücke zu schließen, schlagen wir den Multi-Dimensional Insights (MDI) Benchmark vor, der über 500 Bilder umfasst, die sechs gängige Szenarien des menschlichen Lebens abdecken. Bemerkenswert ist, dass der MDI-Benchmark zwei signifikante Vorteile gegenüber bestehenden Bewertungen bietet: (1) Jedes Bild wird von zwei Arten von Fragen begleitet: einfachen Fragen, um das Verständnis des Modells für das Bild zu bewerten, und komplexen Fragen, um die Fähigkeit des Modells zu analysieren und über den grundlegenden Inhalt hinaus zu argumentieren. (2) Da Menschen unterschiedlichen Alters unterschiedliche Bedürfnisse und Perspektiven haben, wenn sie mit demselben Szenario konfrontiert werden, unterteilt unser Benchmark die Fragen in drei Alterskategorien: junge Menschen, mittelalte Menschen und ältere Menschen. Dieses Design ermöglicht eine detaillierte Bewertung der Fähigkeiten von LMMs, die Präferenzen und Bedürfnisse verschiedener Altersgruppen zu erfüllen. Mit dem MDI-Benchmark erreicht ein leistungsstarkes Modell wie GPT-4o eine Genauigkeit von 79% bei altersbezogenen Aufgaben, was darauf hindeutet, dass bestehende LMMs noch erhebliches Verbesserungspotenzial bei der Bewältigung realer Anwendungen haben. In Zukunft erwarten wir, dass der MDI-Benchmark neue Wege für die Ausrichtung der Personalisierung in LMMs im realen Leben eröffnen wird. Die MDI-Benchmark-Daten und Evaluationscode sind unter https://mdi-benchmark.github.io/ verfügbar.

English

The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/