ZeroBench : Un benchmark visuel impossible pour les modèles multimodaux de grande taille contemporains

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

February 13, 2025

Auteurs: Jonathan Roberts, Mohammad Reza Taesiri, Ansh Sharma, Akash Gupta, Samuel Roberts, Ioana Croitoru, Simion-Vlad Bogolin, Jialu Tang, Florian Langer, Vyas Raina, Vatsal Raina, Hanyi Xiong, Vishaal Udandarao, Jingyi Lu, Shiyang Chen, Sam Purkis, Tianshuo Yan, Wenye Lin, Gyungin Shin, Qiaochu Yang, Anh Totti Nguyen, Kai Han, Samuel Albanie

cs.AI

Résumé

Les grands modèles multimodaux (LMMs) présentent des lacunes majeures dans l'interprétation des images et, selon certaines mesures, possèdent une cognition spatiale inférieure à celle de jeunes enfants ou d'animaux. Malgré cela, ils obtiennent des scores élevés sur de nombreux benchmarks visuels populaires, avec une marge de progression rapidement réduite par une vague continue de progrès des modèles. Pour remédier à cela, il est urgent de disposer de benchmarks difficiles qui restent pertinents plus longtemps. Nous poussons cette idée à son extrême en introduisant ZeroBench, un benchmark léger de raisonnement visuel totalement impossible pour les LMMs de pointe actuels. Notre benchmark se compose de 100 questions soigneusement sélectionnées et de 334 sous-questions moins difficiles. Nous évaluons 20 LMMs sur ZeroBench, tous obtenant un score de 0,0 %, et analysons rigoureusement les erreurs. Pour encourager les progrès dans la compréhension visuelle, nous rendons ZeroBench accessible au public.

English

Large Multimodal Models (LMMs) exhibit major shortfalls when interpreting images and, by some measures, have poorer spatial cognition than small children or animals. Despite this, they attain high scores on many popular visual benchmarks, with headroom rapidly eroded by an ongoing surge of model progress. To address this, there is a pressing need for difficult benchmarks that remain relevant for longer. We take this idea to its limit by introducing ZeroBench-a lightweight visual reasoning benchmark that is entirely impossible for contemporary frontier LMMs. Our benchmark consists of 100 manually curated questions and 334 less difficult subquestions. We evaluate 20 LMMs on ZeroBench, all of which score 0.0%, and rigorously analyse the errors. To encourage progress in visual understanding, we publicly release ZeroBench.