MuseBench: Benchmarking des Verständnisses audiovisueller Kunst auf Absichtsebene in MLLMs

Zusammenfassung

Audiovisuelle Künste umfassen eine Vielzahl kreativer Disziplinen, darunter Filmkunst, bildende Kunst, Bühnenkunst und Spieldesign, bei denen künstlerische Bedeutung durch bewusste Kombinationen von visuellen, auditiven und narrativen Elementen entsteht (z. B. Verstärkung von Angst durch beengte Bildausschnitte oder Vermittlung von Trauer durch Stille und lange Nahaufnahmen). Ein echtes künstlerisches Verständnis geht über das Erkennen des Dargestellten hinaus und erfordert ein Nachdenken darüber, warum etwas durch bestimmte kreative Entscheidungen ausgedrückt wird. Trotz der großen Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) bleibt dieser entscheidende Aspekt des künstlerischen Verständnisses untererforscht, da bestehende Benchmarks hauptsächlich die Wahrnehmungserkennung messen, während das Verständnis kreativer Absichten vernachlässigt wird. Um diese Lücke zu schließen, führen wir Musebench ein, einen umfassenden Benchmark zur Bewertung von MLLMs hinsichtlich eines nuancierten künstlerischen Verständnisses. Er umfasst 4.016 Fragen aus den Bereichen Filmkunst, statische visuelle Kunst, darstellende Bühnenkunst und Spielekunst, die aus über 10.000 Kandidaten-Videoessays destilliert wurden, die professionelle Kommentare mit visuellen Darstellungen kombinieren. Um den offenen Charakter künstlerischer Analyse in großem Maßstab zu erfassen, kombiniert der Benchmark Einfachauswahl- und Mehrfachauswahlfragen mit variablen Optionen. Alle Fragen werden durch eine iterative Vier-Phasen-Pipeline generiert und verfeinert, die Shortcut-Filterung, adversarial Störreize und Expertenvalidierung umfasst. Eine umfassende Zero-Shot-Evaluierung von 28 hochmodernen MLLMs zeigt, dass selbst das leistungsstärkste Modell nur eine Genauigkeit von 48,29 % erreicht, deutlich unter der menschlichen Expertenleistung von 87,18 %, was eine erhebliche Lücke in der kreativen Domänenexpertise aktueller Modelle offenbart.

English

Audiovisual arts encompass diverse creative disciplines, including cinema, visual arts, stage performance, and game design, where artistic meaning arises from deliberate combinations of visual, auditory, and narrative elements (e.g., fear amplified through claustrophobic framing, or grief conveyed through silence and lingering close-ups). True artistic understanding extends beyond recognizing what is depicted to reasoning about why it is expressed through particular creative choices. Despite the strong progress of multimodal large language models (MLLMs), this critical aspect of artistic understanding remains underexplored, as existing benchmarks largely measure perceptual recognition while overlooking reasoning about creative intent. To address this gap, we introduce Musebench, a comprehensive benchmark designed to evaluate MLLMs on nuanced artistic understanding. It comprises 4,016 questions spanning cinematic arts, static visual arts, stage performing arts, and game arts, distilled from over 10K candidate video essays that pair professional commentary with visual demonstration. To capture the open-ended nature of artistic analysis at scale, the benchmark combines single-select and variable-option multi-select questions. All questions are generated and refined through a four-phase iterative pipeline combining shortcut filtering, adversarial distractors, and expert validation. Comprehensive zero-shot evaluation of 28 state-of-the-art MLLMs reveals that even the best-performing model achieves only 48.29% accuracy, substantially below human expert performance of 87.18%, exposing a significant gap in current models' creative domain expertise.