LiveXiv -- Un banc d'essai en direct multi-modal basé sur le contenu des articles Arxiv

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

October 14, 2024

Auteurs: Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Chosen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

cs.AI

Résumé

L'entraînement à grande échelle de modèles multimodaux sur des données extraites du web a montré une utilité exceptionnelle pour infuser ces modèles avec les connaissances mondiales requises pour performer efficacement sur de multiples tâches en aval. Cependant, un inconvénient de l'extraction de données du web peut être le sacrifice potentiel des références sur lesquelles les capacités de ces modèles sont souvent évaluées. Pour prévenir la contamination des données de test et tester véritablement les capacités de ces modèles de base, nous proposons LiveXiv : un banc d'essai évolutif en direct et évolutif basé sur des articles scientifiques ArXiv. LiveXiv accède à des manuscrits spécifiques à un domaine à n'importe quel moment donné et propose de générer automatiquement des paires question-réponse visuelles (VQA). Ceci est réalisé sans aucune intervention humaine, en utilisant le contenu multimodal des manuscrits, comme les graphiques, les diagrammes et les tableaux. De plus, nous introduisons une approche d'évaluation efficace qui estime les performances de tous les modèles sur le banc d'essai évolutif en utilisant des évaluations de seulement un sous-ensemble de modèles. Cela réduit considérablement le coût global de l'évaluation. Nous évaluons plusieurs modèles multimodaux larges (LMM) ouverts et propriétaires sur la première version de notre banc d'essai, démontrant sa nature exigeante et révélant les véritables capacités des modèles, évitant ainsi la contamination. Enfin, dans notre engagement envers la qualité élevée, nous avons collecté et évalué un sous-ensemble vérifié manuellement. En comparant ses résultats globaux à nos annotations automatiques, nous avons constaté que la variance de performance est en effet minimale (<2,5%). Notre ensemble de données est disponible en ligne sur HuggingFace, et notre code sera disponible ici.

English

The large-scale training of multi-modal models on data scraped from the web has shown outstanding utility in infusing these models with the required world knowledge to perform effectively on multiple downstream tasks. However, one downside of scraping data from the web can be the potential sacrifice of the benchmarks on which the abilities of these models are often evaluated. To safeguard against test data contamination and to truly test the abilities of these foundation models we propose LiveXiv: A scalable evolving live benchmark based on scientific ArXiv papers. LiveXiv accesses domain-specific manuscripts at any given timestamp and proposes to automatically generate visual question-answer pairs (VQA). This is done without any human-in-the-loop, using the multi-modal content in the manuscripts, like graphs, charts, and tables. Moreover, we introduce an efficient evaluation approach that estimates the performance of all models on the evolving benchmark using evaluations of only a subset of models. This significantly reduces the overall evaluation cost. We benchmark multiple open and proprietary Large Multi-modal Models (LMMs) on the first version of our benchmark, showing its challenging nature and exposing the models true abilities, avoiding contamination. Lastly, in our commitment to high quality, we have collected and evaluated a manually verified subset. By comparing its overall results to our automatic annotations, we have found that the performance variance is indeed minimal (<2.5%). Our dataset is available online on HuggingFace, and our code will be available here.