Оценочные карты: интерпретационный слой для отчетности по оценке ИИ

Аннотация

Результаты оценки ИИ массово производятся, но отчеты о них непоследовательны в лидербордах, карточках моделей, статьях о бенчмарках и корпоративных блогах. Цена этого — интерпретационная: читатели не могут надежно сравнивать результаты из разных источников, выявить, что в отчете опущено, или проследить агрегированное утверждение до его исходных данных. Недавние усилия затрагивают отдельные компоненты, но оставляют три пробела: они охватывают лишь узкие фрагменты жизненного цикла оценки и не складываются в единую интерпретируемую запись; они задают статические представления, которые не различают вопросы, которые разные заинтересованные стороны задают к одним и тем же данным; и они остаются предложениями на бумаге, не имея инфраструктуры извлечения, необходимой для масштабного внедрения. Мы представляем операционный уровень отчетности, который объединяет метаданные бенчмарков, данные о запусках оценки и метаданные моделей в единую запись. Мы (1) выводим схему отчетности на основе структурированного обзора 52 статей и 10 интервью с заинтересованными сторонами, (2) реализуем четыре интерпретационных сигнала (воспроизводимость, полнота документации, происхождение и риск, сопоставимость баллов), отображаемые через режимы чтения, настроенные на исследовательскую и неисследовательскую аудиторию, и (3) развертываем инструмент мониторинга, который применяет данную схему к 5 816 моделям, 635 бенчмаркам и 101 843 результатам, выявляя систематические пробелы в современной практике отчетности.

English

AI evaluation results are produced at scale but reported inconsistently across leaderboards, model cards, benchmark papers, and company blogs. The cost is interpretive: readers cannot reliably compare results across sources, identify what a report omits, or trace an aggregate claim to its underlying evidence. Recent efforts address isolated components but leave three gaps: they cover only narrow slices of the evaluation lifecycle and do not compose into a single interpretable record; they specify static representations that do not differentiate the questions different stakeholders bring to the same evidence; and they remain proposals on paper, lacking the extraction infrastructure required for adoption at scale. We present , an operational reporting layer that composes benchmark metadata, evaluation run data, and model metadata into a unified record. We (1) derive a reporting schema from a structured review of 52 papers and 10 stakeholder interviews, (2) implement four interpretive signals (reproducibility, documentation completeness, provenance and risk, and score comparability), rendered through reader modes calibrated to research and non-research audiences, and (3) deploy a monitoring tool that applies across 5,816 models, 635 benchmarks, and 101,843 results, surfacing systematic gaps in current reporting practice.