LiveXiv -- мульти-модальная живая база данных, основанная на содержании статей Arxiv.

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

October 14, 2024

Авторы: Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Chosen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

cs.AI

Аннотация

Масштабное обучение мультимодельных моделей на данных, собранных из сети Интернет, продемонстрировало выдающуюся полезность в насыщении этих моделей необходимыми знаниями о мире для эффективного выполнения различных последующих задач. Однако одним из недостатков сбора данных из сети Интернет может быть потенциальное жертвование бенчмарками, на основе которых часто оцениваются способности этих моделей. Для защиты от загрязнения тестовых данных и действительного тестирования способностей этих базовых моделей мы предлагаем LiveXiv: масштабируемый развивающийся живой бенчмарк на основе научных статей ArXiv. LiveXiv получает доступ к манускриптам, специфичным для области, в любой момент времени и предлагает автоматически генерировать визуальные вопросно-ответные пары (VQA). Это делается без участия человека, используя мультимодальное содержимое в манускриптах, такие как графики, диаграммы и таблицы. Более того, мы представляем эффективный подход к оценке, который оценивает производительность всех моделей на развивающемся бенчмарке, используя оценки только подмножества моделей. Это значительно снижает общую стоимость оценки. Мы провели оценку нескольких открытых и собственных больших мультимодельных моделей (LMMs) на первой версии нашего бенчмарка, показывая его сложную природу и выявляя истинные способности моделей, избегая загрязнения. Наконец, в нашем стремлении к высокому качеству мы собрали и оценили вручную проверенное подмножество. Сравнив его общие результаты с нашими автоматическими аннотациями, мы обнаружили, что разброс производительности действительно минимален (<2.5%). Наш набор данных доступен онлайн на HuggingFace, а наш код будет доступен здесь.

English

The large-scale training of multi-modal models on data scraped from the web has shown outstanding utility in infusing these models with the required world knowledge to perform effectively on multiple downstream tasks. However, one downside of scraping data from the web can be the potential sacrifice of the benchmarks on which the abilities of these models are often evaluated. To safeguard against test data contamination and to truly test the abilities of these foundation models we propose LiveXiv: A scalable evolving live benchmark based on scientific ArXiv papers. LiveXiv accesses domain-specific manuscripts at any given timestamp and proposes to automatically generate visual question-answer pairs (VQA). This is done without any human-in-the-loop, using the multi-modal content in the manuscripts, like graphs, charts, and tables. Moreover, we introduce an efficient evaluation approach that estimates the performance of all models on the evolving benchmark using evaluations of only a subset of models. This significantly reduces the overall evaluation cost. We benchmark multiple open and proprietary Large Multi-modal Models (LMMs) on the first version of our benchmark, showing its challenging nature and exposing the models true abilities, avoiding contamination. Lastly, in our commitment to high quality, we have collected and evaluated a manually verified subset. By comparing its overall results to our automatic annotations, we have found that the performance variance is indeed minimal (<2.5%). Our dataset is available online on HuggingFace, and our code will be available here.