Fiches d'évaluation : une couche interprétative pour le rapport d'évaluation de l'IA

Résumé

Les résultats d'évaluation de l'IA sont produits à grande échelle mais rapportés de manière incohérente entre les classements, les fiches modèles, les articles de référence et les blogs d'entreprise. Le coût est interprétatif : les lecteurs ne peuvent pas comparer de manière fiable les résultats d'une source à l'autre, identifier ce qu'un rapport omet, ou relier une affirmation agrégée à ses preuves sous-jacentes. Les efforts récents abordent des composants isolés mais laissent trois lacunes : ils ne couvrent que des segments étroits du cycle de vie de l'évaluation et ne se composent pas en un enregistrement interprétable unique ; ils spécifient des représentations statiques qui ne différencient pas les questions que les différentes parties prenantes apportent aux mêmes preuves ; et ils restent des propositions sur papier, dépourvues de l'infrastructure d'extraction nécessaire pour une adoption à grande échelle. Nous présentons une couche opérationnelle de reporting qui compose les métadonnées de référence, les données d'exécution d'évaluation et les métadonnées du modèle en un enregistrement unifié. Nous (1) dérivons un schéma de reporting d'une revue structurée de 52 articles et 10 entretiens avec des parties prenantes, (2) implémentons quatre signaux interprétatifs (reproductibilité, exhaustivité de la documentation, provenance et risque, et comparabilité des scores), rendus via des modes de lecture calibrés pour les publics de recherche et non-recherche, et (3) déployons un outil de monitoring qui applique cette approche sur 5 816 modèles, 635 références et 101 843 résultats, révélant des lacunes systématiques dans les pratiques de reporting actuelles.

English

AI evaluation results are produced at scale but reported inconsistently across leaderboards, model cards, benchmark papers, and company blogs. The cost is interpretive: readers cannot reliably compare results across sources, identify what a report omits, or trace an aggregate claim to its underlying evidence. Recent efforts address isolated components but leave three gaps: they cover only narrow slices of the evaluation lifecycle and do not compose into a single interpretable record; they specify static representations that do not differentiate the questions different stakeholders bring to the same evidence; and they remain proposals on paper, lacking the extraction infrastructure required for adoption at scale. We present , an operational reporting layer that composes benchmark metadata, evaluation run data, and model metadata into a unified record. We (1) derive a reporting schema from a structured review of 52 papers and 10 stakeholder interviews, (2) implement four interpretive signals (reproducibility, documentation completeness, provenance and risk, and score comparability), rendered through reader modes calibrated to research and non-research audiences, and (3) deploy a monitoring tool that applies across 5,816 models, 635 benchmarks, and 101,843 results, surfacing systematic gaps in current reporting practice.