ModelTables : Un corpus de tableaux relatifs aux modèles

ModelTables: A Corpus of Tables about Models

December 18, 2025

papers.authors: Zhengyuan Dong, Victor Zhong, Renée J. Miller

cs.AI

papers.abstract

Nous présentons ModelTables, un benchmark de tables dans les lacs de modèles qui capture la sémantique structurée des tableaux de performances et de configuration souvent négligés par la recherche textuelle seule. Le corpus est construit à partir des fiches de modèles Hugging Face, des fichiers README GitHub et des articles scientifiques référencés, en associant chaque tableau à son contexte de modèle et de publication. Comparées aux tables des lacs de données ouverts, les tables de modèles sont plus petites mais présentent des relations inter-tables plus denses, reflétant l'évolution étroitement couplée des modèles et des benchmarks. La version actuelle couvre plus de 60 000 modèles et 90 000 tableaux. Pour évaluer la relation entre modèles et tables, nous construisons une vérité terrain multi-sources utilisant trois signaux complémentaires : (1) les liens de citation d'articles, (2) les liens explicites entre fiches de modèles et l'héritage, et (3) les jeux de données d'entraînement partagés. Nous présentons un cas d'usage empirique étendu pour ce benchmark : la recherche de tables. Nous comparons les opérateurs de recherche canoniques des lacs de données (unionables, joignables, mots-clés) et les bases de référence en recherche d'information (recherche dense, creuse, hybride) sur ce benchmark. La recherche sémantique de tables par union atteint 54,8 % de P@1 global (54,6 % sur les citations, 31,3 % sur l'héritage, 30,6 % sur les signaux de jeux de données partagés) ; la recherche dense basée sur les tables atteint 66,5 % de P@1, et la recherche hybride avec métadonnées obtient 54,1 %. Cette évaluation indique une marge d'amélioration claire pour développer de meilleures méthodes de recherche de tables. En publiant ModelTables et son protocole de création, nous fournissons le premier benchmark à grande échelle de données structurées décrivant des modèles d'IA. Notre cas d'usage sur la découverte de tables dans les lacs de modèles fournit une intuition et des preuves pour développer une recherche sémantique plus précise, une comparaison structurée et une organisation méthodique des connaissances structurées sur les modèles. Le code source, les données et autres artefacts sont disponibles à l'adresse https://github.com/RJMillerLab/ModelTables.

English

We present ModelTables, a benchmark of tables in Model Lakes that captures the structured semantics of performance and configuration tables often overlooked by text only retrieval. The corpus is built from Hugging Face model cards, GitHub READMEs, and referenced papers, linking each table to its surrounding model and publication context. Compared with open data lake tables, model tables are smaller yet exhibit denser inter table relationships, reflecting tightly coupled model and benchmark evolution. The current release covers over 60K models and 90K tables. To evaluate model and table relatedness, we construct a multi source ground truth using three complementary signals: (1) paper citation links, (2) explicit model card links and inheritance, and (3) shared training datasets. We present one extensive empirical use case for the benchmark which is table search. We compare canonical Data Lake search operators (unionable, joinable, keyword) and Information Retrieval baselines (dense, sparse, hybrid retrieval) on this benchmark. Union based semantic table retrieval attains 54.8 % P@1 overall (54.6 % on citation, 31.3 % on inheritance, 30.6 % on shared dataset signals); table based dense retrieval reaches 66.5 % P@1, and metadata hybrid retrieval achieves 54.1 %. This evaluation indicates clear room for developing better table search methods. By releasing ModelTables and its creation protocol, we provide the first large scale benchmark of structured data describing AI model. Our use case of table discovery in Model Lakes, provides intuition and evidence for developing more accurate semantic retrieval, structured comparison, and principled organization of structured model knowledge. Source code, data, and other artifacts have been made available at https://github.com/RJMillerLab/ModelTables.