LiveXiv -- Um Benchmark Multi-Modal ao Vivo Baseado no Conteúdo de Artigos do Arxiv

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

October 14, 2024

Autores: Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Chosen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

cs.AI

Resumo

O treinamento em larga escala de modelos multimodais em dados coletados da web tem demonstrado uma utilidade excepcional ao impregnar esses modelos com o conhecimento do mundo necessário para desempenhar efetivamente em várias tarefas subsequentes. No entanto, uma desvantagem de coletar dados da web pode ser o potencial sacrifício dos benchmarks nos quais as habilidades desses modelos são frequentemente avaliadas. Para proteger contra a contaminação dos dados de teste e testar verdadeiramente as habilidades desses modelos fundamentais, propomos o LiveXiv: um benchmark ao vivo escalável e em evolução baseado em artigos científicos do ArXiv. O LiveXiv acessa manuscritos específicos de um domínio em qualquer momento e propõe gerar automaticamente pares de perguntas e respostas visuais (VQA). Isso é feito sem a intervenção humana, utilizando o conteúdo multimodal nos manuscritos, como gráficos, tabelas e figuras. Além disso, introduzimos uma abordagem de avaliação eficiente que estima o desempenho de todos os modelos no benchmark em evolução usando avaliações de apenas um subconjunto de modelos. Isso reduz significativamente o custo total de avaliação. Avaliamos vários Modelos Multimodais Grandes (LMMs) abertos e proprietários na primeira versão de nosso benchmark, demonstrando sua natureza desafiadora e expondo as verdadeiras habilidades dos modelos, evitando contaminação. Por fim, em nosso compromisso com a alta qualidade, coletamos e avaliamos um subconjunto verificado manualmente. Ao comparar seus resultados gerais com nossas anotações automáticas, descobrimos que a variação de desempenho é realmente mínima (<2,5%). Nosso conjunto de dados está disponível online no HuggingFace, e nosso código estará disponível aqui.

English

The large-scale training of multi-modal models on data scraped from the web has shown outstanding utility in infusing these models with the required world knowledge to perform effectively on multiple downstream tasks. However, one downside of scraping data from the web can be the potential sacrifice of the benchmarks on which the abilities of these models are often evaluated. To safeguard against test data contamination and to truly test the abilities of these foundation models we propose LiveXiv: A scalable evolving live benchmark based on scientific ArXiv papers. LiveXiv accesses domain-specific manuscripts at any given timestamp and proposes to automatically generate visual question-answer pairs (VQA). This is done without any human-in-the-loop, using the multi-modal content in the manuscripts, like graphs, charts, and tables. Moreover, we introduce an efficient evaluation approach that estimates the performance of all models on the evolving benchmark using evaluations of only a subset of models. This significantly reduces the overall evaluation cost. We benchmark multiple open and proprietary Large Multi-modal Models (LMMs) on the first version of our benchmark, showing its challenging nature and exposing the models true abilities, avoiding contamination. Lastly, in our commitment to high quality, we have collected and evaluated a manually verified subset. By comparing its overall results to our automatic annotations, we have found that the performance variance is indeed minimal (<2.5%). Our dataset is available online on HuggingFace, and our code will be available here.