ZeroBench: Een Onmogelijke Visuele Benchmark voor Hedendaagse Grote Multimodale Modellen

ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models

February 13, 2025

Auteurs: Jonathan Roberts, Mohammad Reza Taesiri, Ansh Sharma, Akash Gupta, Samuel Roberts, Ioana Croitoru, Simion-Vlad Bogolin, Jialu Tang, Florian Langer, Vyas Raina, Vatsal Raina, Hanyi Xiong, Vishaal Udandarao, Jingyi Lu, Shiyang Chen, Sam Purkis, Tianshuo Yan, Wenye Lin, Gyungin Shin, Qiaochu Yang, Anh Totti Nguyen, Kai Han, Samuel Albanie

cs.AI

Samenvatting

Grote Multimodale Modellen (LMMs) vertonen grote tekortkomingen bij het interpreteren van afbeeldingen en hebben, volgens sommige maatstaven, een slechter ruimtelijk inzicht dan jonge kinderen of dieren. Desondanks behalen ze hoge scores op veel populaire visuele benchmarks, waarbij de marge snel wordt ingehaald door een voortdurende golf van modelverbeteringen. Om dit aan te pakken, is er een dringende behoefte aan uitdagende benchmarks die langer relevant blijven. We nemen dit idee tot het uiterste door ZeroBench te introduceren - een lichtgewicht benchmark voor visueel redeneren die volledig onmogelijk is voor hedendaagse toonaangevende LMMs. Onze benchmark bestaat uit 100 handmatig samengestelde vragen en 334 minder moeilijke subvragen. We evalueren 20 LMMs op ZeroBench, die allemaal een score van 0,0% behalen, en analyseren de fouten grondig. Om vooruitgang in visueel begrip te stimuleren, maken we ZeroBench openbaar beschikbaar.

English

Large Multimodal Models (LMMs) exhibit major shortfalls when interpreting images and, by some measures, have poorer spatial cognition than small children or animals. Despite this, they attain high scores on many popular visual benchmarks, with headroom rapidly eroded by an ongoing surge of model progress. To address this, there is a pressing need for difficult benchmarks that remain relevant for longer. We take this idea to its limit by introducing ZeroBench-a lightweight visual reasoning benchmark that is entirely impossible for contemporary frontier LMMs. Our benchmark consists of 100 manually curated questions and 334 less difficult subquestions. We evaluate 20 LMMs on ZeroBench, all of which score 0.0%, and rigorously analyse the errors. To encourage progress in visual understanding, we publicly release ZeroBench.