PerceptionRubrics: Calibración de la Evaluación Multimodal a la Percepción Humana

Resumen

Presentamos PerceptionRubrics, un marco de evaluación basado en rúbricas que aborda la brecha entre los puntajes saturados de los benchmarks y la fragilidad en el mundo real. Al desplazar la evaluación desde una coincidencia semántica holística hacia una auditoría atómica rigurosa, PerceptionRubrics empareja 1,038 imágenes densas en información con más de 12,000 rúbricas específicas de instancia. Estos criterios se derivan de descripciones doradas construidas mediante un novedoso canal de consenso de Revisión por Pares Circular, y luego se destilan en un sistema de doble flujo de rúbricas Must-Right (hechos esenciales) y Easy-Wrong (detalles precisos). De manera crucial, PerceptionRubrics implementa un mecanismo de Puntuación con Compuerta: a diferencia de los promedios lineales, el fallo en hechos visuales obligatorios desencadena penalizaciones binarias pronunciadas. Una evaluación exhaustiva proporciona conocimientos críticos: (1) La Brecha de Fiabilidad: los modelos a menudo verifican correctamente elementos fragmentados, pero fallan en restricciones conjuntivas estrictas, exponiendo fragilidad en dominios densos; (2) Estratificación Abierto-Cerrado: contrario a las tendencias de razonamiento, revelamos un déficit de percepción persistente del 8% entre las fronteras de código abierto y propietarias; y (3) Rigor Alineado con Humanos: nuestras métricas con compuerta superan sustancialmente a los benchmarks convencionales, validando que la fidelidad perceptual estricta es el prerrequisito para una generación fiable.

English

We introduce PerceptionRubrics, a rubric-based evaluation framework that addresses the gap between saturated benchmark scores and real-world brittleness. Shifting evaluation from holistic semantic matching to rigorous atomic auditing, PerceptionRubrics pairs 1,038 information-dense images with over 12,000 instance-specific rubrics. These criteria are derived from golden captions constructed via a novel Circular Peer-Review consensus pipeline and then distilled into a dual-stream system of Must-Right (essential facts) and Easy-Wrong (fine-grained details) rubrics. Crucially, PerceptionRubrics implements a Gated Scoring mechanism: unlike linear averages, failure on mandatory visual facts triggers sharp binary penalties. Extensive evaluation yields critical insights: (1) The Reliability Gap: models often verify fragmented elements correctly yet fail strict conjunctive constraints, exposing brittleness in dense domains; (2) Open-Closed Stratification: contrary to reasoning trends, we reveal a persistent 8% perception deficit between open-source and proprietary frontiers; and (3) Human-Aligned Rigor: our gated metrics substantially out-align conventional benchmarks, validating that strict perceptual fidelity is the prerequisite for reliable generation.