Cartões de Avaliação: Uma Camada Interpretativa para o Relato de Avaliação de IA

Resumo

Resultados de avaliação de IA são produzidos em larga escala, mas relatados de forma inconsistente entre leaderboards, fichas técnicas de modelos, artigos de benchmarks e blogs de empresas. O custo é interpretativo: leitores não conseguem comparar resultados de forma confiável entre fontes, identificar o que um relatório omite ou rastrear uma afirmação agregada até suas evidências subjacentes. Esforços recentes abordam componentes isolados, mas deixam três lacunas: cobrem apenas fatias estreitas do ciclo de vida da avaliação e não se compõem em um único registro interpretável; especificam representações estáticas que não diferenciam as perguntas que diferentes partes interessadas trazem para a mesma evidência; e permanecem como propostas no papel, carecendo da infraestrutura de extração necessária para adoção em escala. Apresentamos uma camada operacional de relatórios que compõe metadados de benchmarks, dados de execução de avaliação e metadados de modelos em um registro unificado. Nós (1) derivamos um esquema de relatório a partir de uma revisão estruturada de 52 artigos e 10 entrevistas com partes interessadas, (2) implementamos quatro sinais interpretativos (reprodutibilidade, completude da documentação, procedência e risco, e comparabilidade de pontuações), renderizados em modos de leitura calibrados para públicos de pesquisa e não pesquisa, e (3) implantamos uma ferramenta de monitoramento que aplica [a camada] em 5.816 modelos, 635 benchmarks e 101.843 resultados, revelando lacunas sistemáticas nas práticas atuais de relatório.

English

AI evaluation results are produced at scale but reported inconsistently across leaderboards, model cards, benchmark papers, and company blogs. The cost is interpretive: readers cannot reliably compare results across sources, identify what a report omits, or trace an aggregate claim to its underlying evidence. Recent efforts address isolated components but leave three gaps: they cover only narrow slices of the evaluation lifecycle and do not compose into a single interpretable record; they specify static representations that do not differentiate the questions different stakeholders bring to the same evidence; and they remain proposals on paper, lacking the extraction infrastructure required for adoption at scale. We present , an operational reporting layer that composes benchmark metadata, evaluation run data, and model metadata into a unified record. We (1) derive a reporting schema from a structured review of 52 papers and 10 stakeholder interviews, (2) implement four interpretive signals (reproducibility, documentation completeness, provenance and risk, and score comparability), rendered through reader modes calibrated to research and non-research audiences, and (3) deploy a monitoring tool that applies across 5,816 models, 635 benchmarks, and 101,843 results, surfacing systematic gaps in current reporting practice.