ModelTables: Ein Korpus von Tabellen über Modelle
ModelTables: A Corpus of Tables about Models
December 18, 2025
papers.authors: Zhengyuan Dong, Victor Zhong, Renée J. Miller
cs.AI
papers.abstract
Wir stellen ModelTables vor, einen Benchmark für Tabellen in Modell-Lakes, der die strukturierte Semantik von Leistungs- und Konfigurationstabellen erfasst, die bei rein textbasierter Retrieval oft übersehen wird. Das Korpus wurde aus Hugging Face-Modellkarten, GitHub-READMEs und referenzierten Publikationen aufgebaut und verknüpft jede Tabelle mit ihrem umgebenden Modell- und Publikationskontext. Im Vergleich zu Tabellen aus offenen Data Lakes sind Modelltabellen kleiner, weisen jedoch dichtere Beziehungen zwischen Tabellen auf, was die eng gekoppelte Entwicklung von Modellen und Benchmarks widerspiegelt. Die aktuelle Version umfasst über 60.000 Modelle und 90.000 Tabellen. Um die Verwandtschaft von Modellen und Tabellen zu bewerten, erstellen wir eine Multi-Source-Ground-Truth mit drei komplementären Signalen: (1) Zitationsverknüpfungen zwischen Publikationen, (2) explizite Verknüpfungen und Vererbungsbeziehungen in Modellkarten sowie (3) gemeinsame Trainingsdatensätze. Wir präsentieren einen umfangreichen empirischen Anwendungsfall für den Benchmark: die Tabellensuche. Wir vergleichen kanonische Data-Lake-Suchoperatoren (unionfähig, joinfähig, keyword) und Information-Retrieval-Baselines (dichtes, sparsames und hybrides Retrieval) anhand dieses Benchmarks. Unionbasierte semantische Tabellenretrieval erreicht insgesamt 54,8 % P@1 (54,6 % bei Zitationen, 31,3 % bei Vererbung, 30,6 % bei gemeinsamen Datensätzen); tabellenbasiertes dichtes Retrieval erreicht 66,5 % P@1 und hybrides Metadaten-Retrieval erzielt 54,1 %. Diese Auswertung zeigt deutlichen Spielraum für die Entwicklung besserer Tabellensuchmethoden. Durch die Veröffentlichung von ModelTables und seinem Erstellungsprotokoll stellen wir den ersten großflächigen Benchmark für strukturierte Daten bereit, die KI-Modelle beschreiben. Unser Anwendungsfall der Tabellenentdeckung in Modell-Lakes liefert Erkenntnisse und Belege für die Entwicklung präziserer semantischer Retrievalverfahren, strukturierter Vergleichsmethoden und prinzipieller Organisationsansätze für strukturiertes Modellwissen. Quellcode, Daten und weitere Artefakte sind unter https://github.com/RJMillerLab/ModelTables verfügbar.
English
We present ModelTables, a benchmark of tables in Model Lakes that captures the structured semantics of performance and configuration tables often overlooked by text only retrieval. The corpus is built from Hugging Face model cards, GitHub READMEs, and referenced papers, linking each table to its surrounding model and publication context. Compared with open data lake tables, model tables are smaller yet exhibit denser inter table relationships, reflecting tightly coupled model and benchmark evolution. The current release covers over 60K models and 90K tables. To evaluate model and table relatedness, we construct a multi source ground truth using three complementary signals: (1) paper citation links, (2) explicit model card links and inheritance, and (3) shared training datasets. We present one extensive empirical use case for the benchmark which is table search. We compare canonical Data Lake search operators (unionable, joinable, keyword) and Information Retrieval baselines (dense, sparse, hybrid retrieval) on this benchmark. Union based semantic table retrieval attains 54.8 % P@1 overall (54.6 % on citation, 31.3 % on inheritance, 30.6 % on shared dataset signals); table based dense retrieval reaches 66.5 % P@1, and metadata hybrid retrieval achieves 54.1 %. This evaluation indicates clear room for developing better table search methods. By releasing ModelTables and its creation protocol, we provide the first large scale benchmark of structured data describing AI model. Our use case of table discovery in Model Lakes, provides intuition and evidence for developing more accurate semantic retrieval, structured comparison, and principled organization of structured model knowledge. Source code, data, and other artifacts have been made available at https://github.com/RJMillerLab/ModelTables.