ZeroBench: Un punto de referencia visual imposible para los modelos multimodales grandes contemporáneos

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

February 13, 2025

Autores: Jonathan Roberts, Mohammad Reza Taesiri, Ansh Sharma, Akash Gupta, Samuel Roberts, Ioana Croitoru, Simion-Vlad Bogolin, Jialu Tang, Florian Langer, Vyas Raina, Vatsal Raina, Hanyi Xiong, Vishaal Udandarao, Jingyi Lu, Shiyang Chen, Sam Purkis, Tianshuo Yan, Wenye Lin, Gyungin Shin, Qiaochu Yang, Anh Totti Nguyen, Kai Han, Samuel Albanie

cs.AI

Resumen

Los Modelos Multimodales de Gran Escala (LMMs) presentan importantes deficiencias al interpretar imágenes y, según algunas métricas, tienen una cognición espacial más pobre que niños pequeños o animales. A pesar de esto, obtienen puntuaciones altas en muchos benchmarks visuales populares, con un margen de mejora que se reduce rápidamente debido al continuo avance en el desarrollo de modelos. Para abordar este problema, existe una necesidad urgente de benchmarks difíciles que sigan siendo relevantes durante más tiempo. Llevamos esta idea al límite al introducir ZeroBench, un benchmark ligero de razonamiento visual que es completamente imposible para los LMMs de vanguardia actuales. Nuestro benchmark consta de 100 preguntas curadas manualmente y 334 subpreguntas menos difíciles. Evaluamos 20 LMMs en ZeroBench, todos los cuales obtienen un 0.0%, y analizamos rigurosamente los errores. Para fomentar el avance en la comprensión visual, publicamos ZeroBench de manera abierta.

English

Large Multimodal Models (LMMs) exhibit major shortfalls when interpreting images and, by some measures, have poorer spatial cognition than small children or animals. Despite this, they attain high scores on many popular visual benchmarks, with headroom rapidly eroded by an ongoing surge of model progress. To address this, there is a pressing need for difficult benchmarks that remain relevant for longer. We take this idea to its limit by introducing ZeroBench-a lightweight visual reasoning benchmark that is entirely impossible for contemporary frontier LMMs. Our benchmark consists of 100 manually curated questions and 334 less difficult subquestions. We evaluate 20 LMMs on ZeroBench, all of which score 0.0%, and rigorously analyse the errors. To encourage progress in visual understanding, we publicly release ZeroBench.