Multi-dimensionale inzichten: Benchmarken van personalisatie in de echte wereld in grote multimodale modellen.

Samenvatting

Het snel ontwikkelende veld van grote multimodale modellen (LMM's) heeft geleid tot de opkomst van diverse modellen met opmerkelijke mogelijkheden. Bestaande benchmarks falen echter om op een allesomvattende, objectieve en nauwkeurige manier te evalueren of LMM's aansluiten bij de diverse behoeften van mensen in realistische scenario's. Om deze kloof te overbruggen, stellen wij de Multi-Dimensionale Inzichten (MDI) benchmark voor, die meer dan 500 afbeeldingen omvat die zes veelvoorkomende scenario's van menselijk leven bestrijken. Opmerkelijk is dat de MDI-Benchmark twee significante voordelen biedt ten opzichte van bestaande evaluaties: (1) Elke afbeelding wordt vergezeld door twee soorten vragen: eenvoudige vragen om het begrip van het model van de afbeelding te beoordelen, en complexe vragen om het vermogen van het model te evalueren om te analyseren en redeneren voorbij de basisinhoud. (2) Erkennend dat mensen van verschillende leeftijdsgroepen uiteenlopende behoeften en perspectieven hebben wanneer ze worden geconfronteerd met hetzelfde scenario, verdeelt onze benchmark vragen in drie leeftijdscategorieën: jongeren, mensen van middelbare leeftijd en ouderen. Deze opzet maakt een gedetailleerde beoordeling mogelijk van de mogelijkheden van LMM's om te voldoen aan de voorkeuren en behoeften van verschillende leeftijdsgroepen. Met de MDI-Benchmark behaalt een krachtig model zoals GPT-4o 79% nauwkeurigheid op leeftijdsgerelateerde taken, wat aangeeft dat bestaande LMM's nog aanzienlijke ruimte hebben voor verbetering bij het aanpakken van realistische toepassingen. Vooruitkijkend verwachten we dat de MDI-Benchmark nieuwe wegen zal openen voor het afstemmen van personalisatie in LMM's op de echte wereld. De MDI-Benchmark data en evaluatiecode zijn beschikbaar op https://mdi-benchmark.github.io/

English

The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/

Multi-dimensionale inzichten: Benchmarken van personalisatie in de echte wereld in grote multimodale modellen.

Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

Samenvatting

Support