Рубрики восприятия: калибровка мультимодальной оценки в соответствии с человеческим восприятием

Аннотация

Мы представляем PerceptionRubrics — основанную на рубриках систему оценки, которая устраняет разрыв между насыщенными эталонными показателями и хрупкостью в реальных условиях. Перенося оценку с целостного семантического сопоставления на строгий атомарный аудит, PerceptionRubrics объединяет 1038 информационно-насыщенных изображений с более чем 12 000 специфичных для экземпляров рубрик. Эти критерии получены из золотых подписей, построенных с помощью нового конвейера консенсуса циклического рецензирования, а затем дистиллированы в двухпоточную систему рубрик Must-Right (обязательные факты) и Easy-Wrong (детализированные подробности). Важно, что PerceptionRubrics реализует механизм стробированного скоринга: в отличие от линейных средних, неудача в отношении обязательных визуальных фактов влечет резкие бинарные штрафы. Обширная оценка дает критические выводы: (1) Разрыв в надежности: модели часто правильно проверяют фрагментированные элементы, но не справляются со строгими конъюнктивными ограничениями, что выявляет хрупкость в плотных доменах; (2) Стратификация открытости-закрытости: вопреки трендам в рассуждениях, мы обнаруживаем устойчивый 8% дефицит восприятия между открытыми и проприетарными передовыми моделями; и (3) Строгость, согласованная с человеком: наши стробированные метрики значительно превосходят по согласованию обычные бенчмарки, подтверждая, что строгая перцептивная точность является предпосылкой для надежной генерации.

English

We introduce PerceptionRubrics, a rubric-based evaluation framework that addresses the gap between saturated benchmark scores and real-world brittleness. Shifting evaluation from holistic semantic matching to rigorous atomic auditing, PerceptionRubrics pairs 1,038 information-dense images with over 12,000 instance-specific rubrics. These criteria are derived from golden captions constructed via a novel Circular Peer-Review consensus pipeline and then distilled into a dual-stream system of Must-Right (essential facts) and Easy-Wrong (fine-grained details) rubrics. Crucially, PerceptionRubrics implements a Gated Scoring mechanism: unlike linear averages, failure on mandatory visual facts triggers sharp binary penalties. Extensive evaluation yields critical insights: (1) The Reliability Gap: models often verify fragmented elements correctly yet fail strict conjunctive constraints, exposing brittleness in dense domains; (2) Open-Closed Stratification: contrary to reasoning trends, we reveal a persistent 8% perception deficit between open-source and proprietary frontiers; and (3) Human-Aligned Rigor: our gated metrics substantially out-align conventional benchmarks, validating that strict perceptual fidelity is the prerequisite for reliable generation.