Principi di Ridondanza per i Benchmark dei Modelli Linguistici Multilingua (MLLMs)

Redundancy Principles for MLLMs Benchmarks

January 20, 2025

Autori: Zicheng Zhang, Xiangyu Zhao, Xinyu Fang, Chunyi Li, Xiaohong Liu, Xiongkuo Min, Haodong Duan, Kai Chen, Guangtao Zhai

cs.AI

Abstract

Con l'iterazione rapida dei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLMs) e le esigenze in evoluzione del settore, il numero di benchmark prodotti annualmente è aumentato fino a raggiungere centinaia di unità. La crescita rapida ha inevitabilmente portato a una significativa ridondanza tra i benchmark. Pertanto, è cruciale fare un passo indietro e valutare criticamente lo stato attuale della ridondanza e proporre principi mirati per la costruzione di benchmark MLLM efficaci. In questo articolo, ci concentriamo sulla ridondanza da tre prospettive chiave: 1) Ridondanza delle dimensioni delle capacità del benchmark, 2) Ridondanza nel numero di domande di test e 3) Ridondanza tra benchmark all'interno di specifici domini. Attraverso un'analisi approfondita delle performance di centinaia di MLLM su oltre 20 benchmark, miriamo a misurare quantitativamente il livello di ridondanza presente nelle valutazioni esistenti dei MLLM, fornire preziose intuizioni per guidare lo sviluppo futuro dei benchmark MLLM e offrire strategie per affinare ed affrontare efficacemente le problematiche legate alla ridondanza.

English

With the rapid iteration of Multi-modality Large Language Models (MLLMs) and the evolving demands of the field, the number of benchmarks produced annually has surged into the hundreds. The rapid growth has inevitably led to significant redundancy among benchmarks. Therefore, it is crucial to take a step back and critically assess the current state of redundancy and propose targeted principles for constructing effective MLLM benchmarks. In this paper, we focus on redundancy from three key perspectives: 1) Redundancy of benchmark capability dimensions, 2) Redundancy in the number of test questions, and 3) Cross-benchmark redundancy within specific domains. Through the comprehensive analysis over hundreds of MLLMs' performance across more than 20 benchmarks, we aim to quantitatively measure the level of redundancy lies in existing MLLM evaluations, provide valuable insights to guide the future development of MLLM benchmarks, and offer strategies to refine and address redundancy issues effectively.