LiveXiv -- Un benchmark live multimodale basato sui contenuti degli articoli di Arxiv

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

October 14, 2024

Autori: Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Chosen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

cs.AI

Abstract

L'addestramento su larga scala di modelli multimodali su dati raccolti dal web ha dimostrato un'utilità eccezionale nel fornire a tali modelli le conoscenze del mondo necessarie per operare efficacemente su molteplici compiti successivi. Tuttavia, uno svantaggio del web scraping può essere il potenziale sacrificio dei benchmark su cui spesso vengono valutate le capacità di questi modelli. Per proteggere contro la contaminazione dei dati di test e testare veramente le capacità di questi modelli fondamentali, proponiamo LiveXiv: un benchmark live scalabile in evoluzione basato su articoli scientifici ArXiv. LiveXiv accede ai manoscritti specifici del dominio in qualsiasi istante temporale e propone di generare automaticamente coppie domanda-risposta visive (VQA). Ciò avviene senza alcun intervento umano, utilizzando i contenuti multimodali nei manoscritti, come grafici, tabelle e diagrammi. Inoltre, introduciamo un approccio di valutazione efficiente che stima le prestazioni di tutti i modelli sul benchmark in evoluzione utilizzando valutazioni solo su un sottoinsieme di modelli. Ciò riduce significativamente il costo complessivo della valutazione. Mettiamo a confronto vari modelli multimodali Large (LMM) aperti e proprietari sulla prima versione del nostro benchmark, dimostrandone la natura impegnativa ed esponendo le vere capacità dei modelli, evitando la contaminazione. Infine, nel nostro impegno per l'alta qualità, abbiamo raccolto ed valutato un sottoinsieme verificato manualmente. Confrontando i risultati complessivi con le nostre annotazioni automatiche, abbiamo riscontrato una variazione delle prestazioni effettivamente minima (<2,5%). Il nostro dataset è disponibile online su HuggingFace, e il nostro codice sarà disponibile qui.

English

The large-scale training of multi-modal models on data scraped from the web has shown outstanding utility in infusing these models with the required world knowledge to perform effectively on multiple downstream tasks. However, one downside of scraping data from the web can be the potential sacrifice of the benchmarks on which the abilities of these models are often evaluated. To safeguard against test data contamination and to truly test the abilities of these foundation models we propose LiveXiv: A scalable evolving live benchmark based on scientific ArXiv papers. LiveXiv accesses domain-specific manuscripts at any given timestamp and proposes to automatically generate visual question-answer pairs (VQA). This is done without any human-in-the-loop, using the multi-modal content in the manuscripts, like graphs, charts, and tables. Moreover, we introduce an efficient evaluation approach that estimates the performance of all models on the evolving benchmark using evaluations of only a subset of models. This significantly reduces the overall evaluation cost. We benchmark multiple open and proprietary Large Multi-modal Models (LMMs) on the first version of our benchmark, showing its challenging nature and exposing the models true abilities, avoiding contamination. Lastly, in our commitment to high quality, we have collected and evaluated a manually verified subset. By comparing its overall results to our automatic annotations, we have found that the performance variance is indeed minimal (<2.5%). Our dataset is available online on HuggingFace, and our code will be available here.