PerceptionRubrics: Kalibrierung der multimodalen Evaluierung an die menschliche Wahrnehmung

Zusammenfassung

Wir stellen PerceptionRubrics vor, ein rubrikbasiertes Evaluierungsframework, das die Kluft zwischen gesättigten Benchmark-Ergebnissen und realer Fragilität adressiert. Durch die Verlagerung der Evaluierung von holistischem semantischem Abgleich hin zu strenger atomarer Prüfung verbindet PerceptionRubrics 1.038 informationsdichte Bilder mit über 12.000 instanzspezifischen Rubriken. Diese Kriterien werden aus goldenen Bildunterschriften abgeleitet, die mittels einer neuartigen zirkulären Peer-Review-Konsens-Pipeline erstellt und anschließend in ein duales System aus *Must-Right*-Rubriken (wesentliche Fakten) und *Easy-Wrong*-Rubriken (feinkörnige Details) destilliert werden. Entscheidend ist, dass PerceptionRubrics einen *Gated-Scoring*-Mechanismus implementiert: Im Gegensatz zu linearen Mittelwerten löst das Versagen bei obligatorischen visuellen Fakten scharfe binäre Strafen aus. Umfangreiche Evaluierungen liefern zentrale Erkenntnisse: (1) die *Zuverlässigkeitslücke*: Modelle überprüfen häufig fragmentierte Elemente korrekt, versagen jedoch bei strengen konjunktiven Bedingungen, was die Fragilität in dichten Bereichen offenbart; (2) die *Open-Closed-Schichtung*: Entgegen den Trends im Bereich des Denkens decken wir ein anhaltendes Wahrnehmungsdefizit von 8 % zwischen Open-Source- und proprietären Spitzenmodellen auf; und (3) die *menschenorientierte Strenge*: Unsere *Gated*-Metriken sind konventionellen Benchmarks deutlich überlegen, was bestätigt, dass strenge Wahrnehmungstreue die Voraussetzung für zuverlässige Generierung ist.

English

We introduce PerceptionRubrics, a rubric-based evaluation framework that addresses the gap between saturated benchmark scores and real-world brittleness. Shifting evaluation from holistic semantic matching to rigorous atomic auditing, PerceptionRubrics pairs 1,038 information-dense images with over 12,000 instance-specific rubrics. These criteria are derived from golden captions constructed via a novel Circular Peer-Review consensus pipeline and then distilled into a dual-stream system of Must-Right (essential facts) and Easy-Wrong (fine-grained details) rubrics. Crucially, PerceptionRubrics implements a Gated Scoring mechanism: unlike linear averages, failure on mandatory visual facts triggers sharp binary penalties. Extensive evaluation yields critical insights: (1) The Reliability Gap: models often verify fragmented elements correctly yet fail strict conjunctive constraints, exposing brittleness in dense domains; (2) Open-Closed Stratification: contrary to reasoning trends, we reveal a persistent 8% perception deficit between open-source and proprietary frontiers; and (3) Human-Aligned Rigor: our gated metrics substantially out-align conventional benchmarks, validating that strict perceptual fidelity is the prerequisite for reliable generation.