LiveXiv - Een multi-modale live benchmark gebaseerd op de inhoud van Arxiv papers.

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

October 14, 2024

Auteurs: Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Chosen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

cs.AI

Samenvatting

Het grootschalig trainen van multimodale modellen op gegevens verzameld van het web heeft een uitstekende bruikbaarheid aangetoond bij het verrijken van deze modellen met de benodigde wereldkennis om effectief te presteren op verschillende taken. Een nadeel van het verzamelen van gegevens van het web kan echter het potentiële verlies van de benchmarks zijn waarop de vaardigheden van deze modellen vaak worden geëvalueerd. Om te beschermen tegen besmetting van testgegevens en om daadwerkelijk de vaardigheden van deze basismodellen te testen, stellen we LiveXiv voor: een schaalbare evoluerende live benchmark gebaseerd op wetenschappelijke ArXiv-artikelen. LiveXiv heeft toegang tot domeinspecifieke manuscripten op elk willekeurig tijdstip en stelt voor om automatisch visuele vraag-antwoordparen (VQA) te genereren. Dit gebeurt zonder enige menselijke tussenkomst, met behulp van de multimodale inhoud in de manuscripten, zoals grafieken, diagrammen en tabellen. Bovendien introduceren we een efficiënte evaluatiebenadering die de prestaties van alle modellen op de evoluerende benchmark schat door evaluaties van slechts een subset van modellen. Dit vermindert de algehele evaluatiekosten aanzienlijk. We evalueren meerdere open en eigendomsrechtelijke Grote Multimodale Modellen (LMM's) op de eerste versie van onze benchmark, waarbij de uitdagende aard ervan wordt aangetoond en de ware vaardigheden van de modellen worden blootgelegd, zonder besmetting. Ten slotte hebben we, in ons streven naar hoge kwaliteit, een handmatig geverifieerde subset verzameld en geëvalueerd. Door de algehele resultaten te vergelijken met onze automatische annotaties, hebben we vastgesteld dat de prestatievariatie inderdaad minimaal is (<2,5%). Onze dataset is online beschikbaar op HuggingFace, en onze code zal hier beschikbaar zijn.

English

The large-scale training of multi-modal models on data scraped from the web has shown outstanding utility in infusing these models with the required world knowledge to perform effectively on multiple downstream tasks. However, one downside of scraping data from the web can be the potential sacrifice of the benchmarks on which the abilities of these models are often evaluated. To safeguard against test data contamination and to truly test the abilities of these foundation models we propose LiveXiv: A scalable evolving live benchmark based on scientific ArXiv papers. LiveXiv accesses domain-specific manuscripts at any given timestamp and proposes to automatically generate visual question-answer pairs (VQA). This is done without any human-in-the-loop, using the multi-modal content in the manuscripts, like graphs, charts, and tables. Moreover, we introduce an efficient evaluation approach that estimates the performance of all models on the evolving benchmark using evaluations of only a subset of models. This significantly reduces the overall evaluation cost. We benchmark multiple open and proprietary Large Multi-modal Models (LMMs) on the first version of our benchmark, showing its challenging nature and exposing the models true abilities, avoiding contamination. Lastly, in our commitment to high quality, we have collected and evaluated a manually verified subset. By comparing its overall results to our automatic annotations, we have found that the performance variance is indeed minimal (<2.5%). Our dataset is available online on HuggingFace, and our code will be available here.