LiveXiv -- Un Benchmark en Vivo Multi-Modal Basado en el Contenido de los Artículos de Arxiv

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

October 14, 2024

Autores: Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Chosen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

cs.AI

Resumen

El entrenamiento a gran escala de modelos multimodales con datos extraídos de la web ha demostrado una utilidad excepcional para dotar a estos modelos del conocimiento del mundo necesario para desempeñarse eficazmente en múltiples tareas posteriores. Sin embargo, un inconveniente de la extracción de datos de la web puede ser el potencial sacrificio de los puntos de referencia en los que a menudo se evalúan las habilidades de estos modelos. Para protegerse contra la contaminación de los datos de prueba y probar verdaderamente las habilidades de estos modelos base, proponemos LiveXiv: un banco de pruebas en vivo escalable y en evolución basado en artículos científicos de ArXiv. LiveXiv accede a manuscritos específicos de un dominio en cualquier momento dado y propone generar automáticamente pares de preguntas y respuestas visuales (VQA). Esto se hace sin intervención humana, utilizando el contenido multimodal de los manuscritos, como gráficos, tablas y cuadros. Además, presentamos un enfoque de evaluación eficiente que estima el rendimiento de todos los modelos en el banco de pruebas en evolución mediante evaluaciones de solo un subconjunto de modelos. Esto reduce significativamente el costo total de evaluación. Evaluamos múltiples Modelos Multimodales Grandes (LMMs) abiertos y propietarios en la primera versión de nuestro banco de pruebas, mostrando su naturaleza desafiante y exponiendo las verdaderas habilidades de los modelos, evitando la contaminación. Por último, en nuestro compromiso con la alta calidad, hemos recopilado y evaluado un subconjunto verificado manualmente. Al comparar sus resultados generales con nuestras anotaciones automáticas, hemos encontrado que la variación de rendimiento es realmente mínima (<2.5%). Nuestro conjunto de datos está disponible en línea en HuggingFace, y nuestro código estará disponible aquí.

English

The large-scale training of multi-modal models on data scraped from the web has shown outstanding utility in infusing these models with the required world knowledge to perform effectively on multiple downstream tasks. However, one downside of scraping data from the web can be the potential sacrifice of the benchmarks on which the abilities of these models are often evaluated. To safeguard against test data contamination and to truly test the abilities of these foundation models we propose LiveXiv: A scalable evolving live benchmark based on scientific ArXiv papers. LiveXiv accesses domain-specific manuscripts at any given timestamp and proposes to automatically generate visual question-answer pairs (VQA). This is done without any human-in-the-loop, using the multi-modal content in the manuscripts, like graphs, charts, and tables. Moreover, we introduce an efficient evaluation approach that estimates the performance of all models on the evolving benchmark using evaluations of only a subset of models. This significantly reduces the overall evaluation cost. We benchmark multiple open and proprietary Large Multi-modal Models (LMMs) on the first version of our benchmark, showing its challenging nature and exposing the models true abilities, avoiding contamination. Lastly, in our commitment to high quality, we have collected and evaluated a manually verified subset. By comparing its overall results to our automatic annotations, we have found that the performance variance is indeed minimal (<2.5%). Our dataset is available online on HuggingFace, and our code will be available here.