ModelTables: Un corpus di tabelle sui modelli

ModelTables: A Corpus of Tables about Models

December 18, 2025

Autori: Zhengyuan Dong, Victor Zhong, Renée J. Miller

cs.AI

Abstract

Presentiamo ModelTables, un benchmark di tabelle nei Model Lakes che cattura la semantica strutturata delle tabelle di prestazioni e configurazione, spesso trascurata dal recupero basato solo sul testo. Il corpus è costruito a partire dalle model card di Hugging Face, dai README di GitHub e dagli articoli citati, collegando ogni tabella al suo contesto modellistico e di pubblicazione di riferimento. Rispetto alle tabelle degli open data lake, le tabelle di modelli sono più piccole ma presentano relazioni inter-tabella più dense, riflettendo l'evoluzione strettamente accoppiata di modelli e benchmark. L'attuale release copre oltre 60.000 modelli e 90.000 tabelle. Per valutare la correlazione tra modelli e tabelle, costruiamo una ground truth multi-sorgente utilizzando tre segnali complementari: (1) link di citazione tra articoli, (2) link espliciti nelle model card e relazioni di ereditarietà, e (3) dataset di training condivisi. Presentiamo un caso d'uso empirico estensivo per il benchmark, ovvero la ricerca di tabelle. Confrontiamo su questo benchmark gli operatori di ricerca canonici dei Data Lake (unionable, joinable, per parola chiave) e i baseline di Information Retrieval (recupero denso, sparso, ibrido). Il recupero semantico di tabelle basato su union raggiunge il 54,8% di P@1 complessivo (54,6% sul segnale di citazione, 31,3% su ereditarietà, 30,6% su dataset condivisi); il recupero denso basato su tabelle raggiunge il 66,5% di P@1, mentre il recupero ibrido sui metadati raggiunge il 54,1%. Questa valutazione indica un chiaro margine di miglioramento per lo sviluppo di metodi di ricerca tabellare più efficaci. Rilasciando ModelTables e il suo protocollo di creazione, forniamo il primo benchmark su larga scala per dati strutturati che descrivono modelli di IA. Il nostro caso d'uso sul discovery di tabelle nei Model Lakes fornisce intuizioni ed evidenze per sviluppare un recupero semantico più accurato, un confronto strutturato e un'organizzazione principiata della conoscenza modellistica strutturata. Il codice sorgente, i dati e altri artefatti sono disponibili all'indirizzo https://github.com/RJMillerLab/ModelTables.

English

We present ModelTables, a benchmark of tables in Model Lakes that captures the structured semantics of performance and configuration tables often overlooked by text only retrieval. The corpus is built from Hugging Face model cards, GitHub READMEs, and referenced papers, linking each table to its surrounding model and publication context. Compared with open data lake tables, model tables are smaller yet exhibit denser inter table relationships, reflecting tightly coupled model and benchmark evolution. The current release covers over 60K models and 90K tables. To evaluate model and table relatedness, we construct a multi source ground truth using three complementary signals: (1) paper citation links, (2) explicit model card links and inheritance, and (3) shared training datasets. We present one extensive empirical use case for the benchmark which is table search. We compare canonical Data Lake search operators (unionable, joinable, keyword) and Information Retrieval baselines (dense, sparse, hybrid retrieval) on this benchmark. Union based semantic table retrieval attains 54.8 % P@1 overall (54.6 % on citation, 31.3 % on inheritance, 30.6 % on shared dataset signals); table based dense retrieval reaches 66.5 % P@1, and metadata hybrid retrieval achieves 54.1 %. This evaluation indicates clear room for developing better table search methods. By releasing ModelTables and its creation protocol, we provide the first large scale benchmark of structured data describing AI model. Our use case of table discovery in Model Lakes, provides intuition and evidence for developing more accurate semantic retrieval, structured comparison, and principled organization of structured model knowledge. Source code, data, and other artifacts have been made available at https://github.com/RJMillerLab/ModelTables.