Evaluatiekaarten: Een interpretatielaag voor AI-evaluatierapportage

Samenvatting

AI-evaluatieresultaten worden op schaal geproduceerd, maar worden inconsistent gerapporteerd in ranglijsten, modelkaarten, benchmarkartikelen en bedrijfsblogs. De kostprijs is interpretatief: lezers kunnen resultaten niet betrouwbaar vergelijken tussen bronnen, ontdekken wat een rapport weglaat, of een geaggregeerde bewaring herleiden tot het onderliggende bewijsmateriaal. Recente inspanningen pakken geïsoleerde componenten aan, maar laten drie hiaten: ze beslaan slechts smalle delen van de evaluatielevenscyclus en vormen geen samenhangend, interpreteerbaar geheel; ze specificeren statische representaties die geen onderscheid maken tussen de vragen die verschillende belanghebbenden stellen aan hetzelfde bewijsmateriaal; en ze blijven voorstellen op papier, zonder de extractie-infrastructuur die nodig is voor adoptie op schaal. We presenteren , een operationele rapportagelaag die benchmarkmetagegevens, evaluatie-uitvoergegevens en modelmetagegevens samenbrengt in een uniforme registratie. We (1) leiden een rapportageschema af uit een gestructureerde analyse van 52 artikelen en 10 interviews met belanghebbenden, (2) implementeren vier interpretatieve signalen (reproduceerbaarheid, documentatievolledigheid, herkomst en risico, en scoresoortvergelijking), weergegeven via leesmodi die zijn afgestemd op onderzoeks- en niet-onderzoekspubliek, en (3) zetten een monitoringtool in die toepast op 5.816 modellen, 635 benchmarks en 101.843 resultaten, waarbij systematische hiaten in de huidige rapportagepraktijk worden blootgelegd.

English

AI evaluation results are produced at scale but reported inconsistently across leaderboards, model cards, benchmark papers, and company blogs. The cost is interpretive: readers cannot reliably compare results across sources, identify what a report omits, or trace an aggregate claim to its underlying evidence. Recent efforts address isolated components but leave three gaps: they cover only narrow slices of the evaluation lifecycle and do not compose into a single interpretable record; they specify static representations that do not differentiate the questions different stakeholders bring to the same evidence; and they remain proposals on paper, lacking the extraction infrastructure required for adoption at scale. We present , an operational reporting layer that composes benchmark metadata, evaluation run data, and model metadata into a unified record. We (1) derive a reporting schema from a structured review of 52 papers and 10 stakeholder interviews, (2) implement four interpretive signals (reproducibility, documentation completeness, provenance and risk, and score comparability), rendered through reader modes calibrated to research and non-research audiences, and (3) deploy a monitoring tool that applies across 5,816 models, 635 benchmarks, and 101,843 results, surfacing systematic gaps in current reporting practice.