PerceptionRubrics: 인간 지각에 기반한 멀티모달 평가 보정

초록

저희는 PerceptionRubrics를 소개합니다. 이는 루브릭 기반 평가 프레임워크로서, 포화 상태의 벤치마크 점수와 실제 환경에서의 취약성 간의 간극을 해결합니다. 평가를 전체론적 의미 매칭에서 엄격한 원자 단위 감사로 전환하여, PerceptionRubrics는 1,038개의 정보 밀도가 높은 이미지와 12,000개 이상의 인스턴스별 루브릭을 결합합니다. 이러한 기준은 새로운 순환 동료 검토 합의 파이프라인을 통해 구축된 골든 캡션에서 도출된 후, Must-Right(필수 사실) 및 Easy-Wrong(세부 세부사항) 루브릭의 이중 스트림 시스템으로 정제됩니다. 핵심적으로, PerceptionRubrics는 게이트 점수 매커니즘을 구현합니다. 선형 평균과 달리, 필수 시각적 사실에 대한 실패는 날카로운 이진 페널티를 촉발합니다. 광범위한 평가는 다음과 같은 중요한 통찰을 제공합니다. (1) 신뢰성 격차: 모델은 종종 분할된 요소를 올바르게 검증하지만 엄격한 결합 제약 조건에서는 실패하여 밀집 영역에서의 취약성을 드러냅니다. (2) 개방-폐쇄 계층화: 추론 동향과 반대로, 오픈소스와 독점 프런티어 간에 8%의 지속적인 인식 결손이 드러납니다. (3) 인간 정렬 엄격성: 게이트된 지표는 기존 벤치마크를 크게 능가하며, 엄격한 지각 충실도가 신뢰할 수 있는 생성의 전제 조건임을 검증합니다.

English

We introduce PerceptionRubrics, a rubric-based evaluation framework that addresses the gap between saturated benchmark scores and real-world brittleness. Shifting evaluation from holistic semantic matching to rigorous atomic auditing, PerceptionRubrics pairs 1,038 information-dense images with over 12,000 instance-specific rubrics. These criteria are derived from golden captions constructed via a novel Circular Peer-Review consensus pipeline and then distilled into a dual-stream system of Must-Right (essential facts) and Easy-Wrong (fine-grained details) rubrics. Crucially, PerceptionRubrics implements a Gated Scoring mechanism: unlike linear averages, failure on mandatory visual facts triggers sharp binary penalties. Extensive evaluation yields critical insights: (1) The Reliability Gap: models often verify fragmented elements correctly yet fail strict conjunctive constraints, exposing brittleness in dense domains; (2) Open-Closed Stratification: contrary to reasoning trends, we reveal a persistent 8% perception deficit between open-source and proprietary frontiers; and (3) Human-Aligned Rigor: our gated metrics substantially out-align conventional benchmarks, validating that strict perceptual fidelity is the prerequisite for reliable generation.