ModelTables: Um Corpus de Tabelas sobre Modelos

ModelTables: A Corpus of Tables about Models

December 18, 2025

Autores: Zhengyuan Dong, Victor Zhong, Renée J. Miller

cs.AI

Resumo

Apresentamos o ModelTables, um benchmark de tabelas em Model Lakes que captura a semântica estruturada de tabelas de desempenho e configuração, frequentemente negligenciada pela recuperação baseada apenas em texto. O corpus é construído a partir de model cards do Hugging Face, READMEs do GitHub e artigos referenciados, vinculando cada tabela ao seu contexto circundante de modelo e publicação. Em comparação com tabelas de lagos de dados abertos, as tabelas de modelos são menores, mas exibem relações mais densas entre tabelas, refletindo a evolução fortemente acoplada de modelos e benchmarks. A versão atual abrange mais de 60 mil modelos e 90 mil tabelas. Para avaliar a relação entre modelos e tabelas, construímos uma ground truth de múltiplas fontes usando três sinais complementares: (1) links de citação de artigos, (2) links explícitos em model cards e herança, e (3) conjuntos de dados de treinamento compartilhados. Apresentamos um caso de uso empírico extensivo para o benchmark, que é a busca em tabelas. Comparamos operadores canônicos de busca em Data Lakes (unionable, joinable, palavra-chave) e baselines de Recuperação de Informação (recuperação densa, esparsa, híbrida) neste benchmark. A recuperação semântica de tabelas baseada em união atinge 54,8% de P@1 no geral (54,6% em citação, 31,3% em herança, 30,6% em sinais de conjunto de dados compartilhados); a recuperação densa baseada em tabelas atinge 66,5% de P@1, e a recuperação híbrida com metadados alcança 54,1%. Esta avaliação indica uma margem clara para o desenvolvimento de métodos melhores de busca em tabelas. Ao disponibilizar o ModelTables e o seu protocolo de criação, fornecemos o primeiro benchmark em larga escala de dados estruturados que descrevem modelos de IA. O nosso caso de uso de descoberta de tabelas em Model Lakes fornece intuição e evidências para desenvolver uma recuperação semântica mais precisa, comparação estruturada e organização fundamentada do conhecimento estruturado de modelos. O código-fonte, dados e outros artefactos estão disponíveis em https://github.com/RJMillerLab/ModelTables.

English

We present ModelTables, a benchmark of tables in Model Lakes that captures the structured semantics of performance and configuration tables often overlooked by text only retrieval. The corpus is built from Hugging Face model cards, GitHub READMEs, and referenced papers, linking each table to its surrounding model and publication context. Compared with open data lake tables, model tables are smaller yet exhibit denser inter table relationships, reflecting tightly coupled model and benchmark evolution. The current release covers over 60K models and 90K tables. To evaluate model and table relatedness, we construct a multi source ground truth using three complementary signals: (1) paper citation links, (2) explicit model card links and inheritance, and (3) shared training datasets. We present one extensive empirical use case for the benchmark which is table search. We compare canonical Data Lake search operators (unionable, joinable, keyword) and Information Retrieval baselines (dense, sparse, hybrid retrieval) on this benchmark. Union based semantic table retrieval attains 54.8 % P@1 overall (54.6 % on citation, 31.3 % on inheritance, 30.6 % on shared dataset signals); table based dense retrieval reaches 66.5 % P@1, and metadata hybrid retrieval achieves 54.1 %. This evaluation indicates clear room for developing better table search methods. By releasing ModelTables and its creation protocol, we provide the first large scale benchmark of structured data describing AI model. Our use case of table discovery in Model Lakes, provides intuition and evidence for developing more accurate semantic retrieval, structured comparison, and principled organization of structured model knowledge. Source code, data, and other artifacts have been made available at https://github.com/RJMillerLab/ModelTables.