ModelTables: Een Corpus van Tabellen over Modellen

ModelTables: A Corpus of Tables about Models

December 18, 2025

Auteurs: Zhengyuan Dong, Victor Zhong, Renée J. Miller

cs.AI

Samenvatting

Wij presenteren ModelTables, een benchmark van tabellen in Model Lakes die de gestructureerde semantiek vastlegt van prestatie- en configuratietabellen die vaak over het hoofd worden gezien door uitsluitend op tekst gebaseerde retrievalsystemen. Het corpus is opgebouwd uit Hugging Face-modelkaarten, GitHub README's en geciteerde wetenschappelijke artikelen, waarbij elke tabel wordt gekoppeld aan de omliggende model- en publicatiecontext. Vergeleken met tabellen uit open data lakes zijn modeltabellen kleiner, maar vertonen ze dichtere inter-tabelrelaties, wat de nauwe koppeling weerspiegelt tussen de evolutie van modellen en benchmarks. De huidige release omvat meer dan 60.000 modellen en 90.000 tabellen. Om de verwantschap tussen modellen en tabellen te evalueren, construeren we een multi-source ground truth met drie complementaire signalen: (1) citatielinks tussen artikelen, (2) expliciete links en overervingsrelaties in modelkaarten, en (3) gedeelde trainingsdatasets. Wij presenteren één uitgebreide empirische use case voor de benchmark, namelijk tabelzoekopdrachten. We vergelijken canonieke Data Lake-zoekoperatoren (unionable, joinable, keyword) en Information Retrieval-baselines (dense, sparse, hybrid retrieval) op deze benchmark. Semantische tabelretrieval op basis van union-operaties behaalt een overall P@1 van 54,8% (54,6% op citatiesignalen, 31,3% op overervingssignalen, 30,6% op gedeelde datasetsignalen); dichte retrieval op tabelinhoud bereikt 66,5% P@1; en hybride retrieval op metadata behaalt 54,1%. Deze evaluatie toont duidelijke ruimte voor de ontwikkeling van betere tabelzoekmethoden. Door ModelTables en het creatieprotocol vrij te geven, bieden we de eerste grootschalige benchmark van gestructureerde data die AI-modellen beschrijft. Onze use case voor tabelontdekking in Model Lakes levert intuïtie en bewijs voor het ontwikkelen van nauwkeurigere semantische retrieval, gestructureerde vergelijking en principegestuurde organisatie van gestructureerde modelkennis. Broncode, data en andere artefacten zijn beschikbaar gesteld op https://github.com/RJMillerLab/ModelTables.

English

We present ModelTables, a benchmark of tables in Model Lakes that captures the structured semantics of performance and configuration tables often overlooked by text only retrieval. The corpus is built from Hugging Face model cards, GitHub READMEs, and referenced papers, linking each table to its surrounding model and publication context. Compared with open data lake tables, model tables are smaller yet exhibit denser inter table relationships, reflecting tightly coupled model and benchmark evolution. The current release covers over 60K models and 90K tables. To evaluate model and table relatedness, we construct a multi source ground truth using three complementary signals: (1) paper citation links, (2) explicit model card links and inheritance, and (3) shared training datasets. We present one extensive empirical use case for the benchmark which is table search. We compare canonical Data Lake search operators (unionable, joinable, keyword) and Information Retrieval baselines (dense, sparse, hybrid retrieval) on this benchmark. Union based semantic table retrieval attains 54.8 % P@1 overall (54.6 % on citation, 31.3 % on inheritance, 30.6 % on shared dataset signals); table based dense retrieval reaches 66.5 % P@1, and metadata hybrid retrieval achieves 54.1 %. This evaluation indicates clear room for developing better table search methods. By releasing ModelTables and its creation protocol, we provide the first large scale benchmark of structured data describing AI model. Our use case of table discovery in Model Lakes, provides intuition and evidence for developing more accurate semantic retrieval, structured comparison, and principled organization of structured model knowledge. Source code, data, and other artifacts have been made available at https://github.com/RJMillerLab/ModelTables.