Многомерные исследования: оценка персонализации в реальном мире в крупных мультимодальных моделях

Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models

December 17, 2024

Авторы: YiFan Zhang, Shanglin Lei, Runqi Qiao, Zhuoma GongQue, Xiaoshuai Song, Guanting Dong, Qiuna Tan, Zhe Wei, Peiqing Yang, Ye Tian, Yadong Xue, Xiaofei Wang, Honggang Zhang

cs.AI

Аннотация

Бурно развивающееся направление крупных мультимодальных моделей (LMM) привело к появлению разнообразных моделей с выдающимися возможностями. Однако существующие бенчмарки не способны всесторонне, объективно и точно оценить, соответствуют ли LMM разнообразным потребностям людей в реальных сценариях. Для устранения этого разрыва мы предлагаем бенчмарк Multi-Dimensional Insights (MDI), который включает более 500 изображений, охватывающих шесть общих сценариев человеческой жизни. Следует отметить, что бенчмарк MDI предлагает два значительных преимущества по сравнению с существующими оценками: (1) Каждое изображение сопровождается двумя типами вопросов: простые вопросы для оценки понимания моделью изображения и сложные вопросы для оценки способности модели анализировать и рассуждать за пределами базового содержания. (2) Учитывая, что люди разных возрастных групп имеют различные потребности и взгляды при столкновении с одним и тем же сценарием, наш бенчмарк стратифицирует вопросы на три возрастные категории: молодые люди, люди среднего возраста и пожилые люди. Такой подход позволяет детально оценить способности LMM в удовлетворении предпочтений и потребностей различных возрастных групп. С помощью бенчмарка MDI сильная модель, такая как GPT-4, достигает точности 79% в задачах, связанных с возрастом, что свидетельствует о значительном потенциале для улучшения существующих LMM в решении задач реального мира. В будущем мы ожидаем, что бенчмарк MDI откроет новые пути для соответствия персонализации в LMM реальному миру. Данные и код оценки бенчмарка MDI доступны по адресу https://mdi-benchmark.github.io/

English

The rapidly developing field of large multimodal models (LMMs) has led to the emergence of diverse models with remarkable capabilities. However, existing benchmarks fail to comprehensively, objectively and accurately evaluate whether LMMs align with the diverse needs of humans in real-world scenarios. To bridge this gap, we propose the Multi-Dimensional Insights (MDI) benchmark, which includes over 500 images covering six common scenarios of human life. Notably, the MDI-Benchmark offers two significant advantages over existing evaluations: (1) Each image is accompanied by two types of questions: simple questions to assess the model's understanding of the image, and complex questions to evaluate the model's ability to analyze and reason beyond basic content. (2) Recognizing that people of different age groups have varying needs and perspectives when faced with the same scenario, our benchmark stratifies questions into three age categories: young people, middle-aged people, and older people. This design allows for a detailed assessment of LMMs' capabilities in meeting the preferences and needs of different age groups. With MDI-Benchmark, the strong model like GPT-4o achieve 79% accuracy on age-related tasks, indicating that existing LMMs still have considerable room for improvement in addressing real-world applications. Looking ahead, we anticipate that the MDI-Benchmark will open new pathways for aligning real-world personalization in LMMs. The MDI-Benchmark data and evaluation code are available at https://mdi-benchmark.github.io/