Blind-Spots-Bench: Bewertung von blinden Flecken in multimodalen Modellen

Zusammenfassung

Moderne KI-Modelle erzielen auf vielen etablierten Benchmarks eine starke Leistung, scheitern jedoch weiterhin an Aufgaben, die von Menschen als nahezu trivial empfunden werden, wie etwa das Bearbeiten einer Zeichenkette oder das Zeichnen eines Hundes mit fünf Beinen. Diese Beispiele deuten darauf hin, dass bestehende Benchmarks möglicherweise persistente blinde Flecken in aktuellen Systemen unzureichend messen. Wir stellen blind-spots-bench vor, einen Benchmark, der darauf ausgelegt ist, solche blinden Flecken durch Aufgaben aufzudecken, die für Menschen einfach erscheinen, aber für moderne KI herausfordernd bleiben. Wir sammeln rohe Fragen von Studierenden eines KI-Kurses, bereinigen sie und versehen sie mit strukturierten Referenzlösungen, und schlagen eine Aufgaben-Taxonomie vor, die auf den resultierenden Datensatz von 235 Proben zugeschnitten ist. Darüber hinaus entwickeln wir eine automatisierte Bewertungspipeline, um eine breite Palette von Modellen zu evaluieren, darunter Open-Weight- und Closed-Source-Sprach-, Vision-Sprach- und Bildgenerierungsmodelle. Unsere Analyse auf blind-spots-bench zeigt, dass Closed-Source-Frontier-Modelle Open-Weight-Modelle mit einer Spanne von sogar etwa 10 % deutlich übertreffen können, selbst wenn sie auf bestehenden Benchmarks vergleichbare Leistungen erzielen. Eine detailliertere Analyse zeigt, dass kein einzelnes Modell bei allen Aufgabentypen dominiert und dass einige Aufgaben für alle evaluierten Modelle herausfordernd bleiben. Diese Ergebnisse unterstreichen den Wert von blind-spots-bench als diagnostischen Stresstest zur Identifizierung konkreter Schwächen in aktuellen modernen Modellen.

English

Modern AI models achieve strong performance on many established benchmarks, yet they still fail on tasks that humans find almost trivial, such as manipulating a string or drawing a dog with five legs. These examples suggest that existing benchmarks may under-measure persistent blind spots in current systems. We introduce blind-spots-bench, a benchmark designed to expose such blind spots through tasks that appear simple for humans but remain challenging for modern AI. We collect raw questions from students in an AI course, clean and annotate them with structured reference solutions, and propose a task taxonomy tailored to the resulting dataset of 235 samples. We further develop an automated grading pipeline to evaluate a wide range of models, including open-weight and closed-source language, vision-language, and image-generation models. Our analysis on blind-spots-bench reveals that closed-source frontier models can substantially outperform open-weight models with even approx10% gap, even when they attain comparable performance on existing benchmarks. A more fine-grained analysis shows that no single model dominates across all task types, and that some tasks remain challenging for all evaluated models. These results highlight the value of blind-spots-bench as a diagnostic stress test for identifying concrete weaknesses in current modern models.