ModelTables: Un Corpus de Tablas sobre Modelos

ModelTables: A Corpus of Tables about Models

December 18, 2025

Autores: Zhengyuan Dong, Victor Zhong, Renée J. Miller

cs.AI

Resumen

Presentamos ModelTables, un benchmark de tablas en Model Lakes que captura la semántica estructurada de las tablas de rendimiento y configuración, a menudo pasada por alto por la recuperación basada únicamente en texto. El corpus se construye a partir de tarjetas de modelos de Hugging Face, archivos README de GitHub y artículos referenciados, vinculando cada tabla con su modelo circundante y contexto de publicación. En comparación con las tablas de lagos de datos abiertos, las tablas de modelos son más pequeñas pero exhiben relaciones intertabla más densas, lo que refleja una evolución estrechamente acoplada de modelos y benchmarks. La versión actual cubre más de 60K modelos y 90K tablas. Para evaluar la relación entre modelos y tablas, construimos una verdad de base multisource utilizando tres señales complementarias: (1) enlaces de citas de artículos, (2) enlaces explícitos en tarjetas de modelo y herencia, y (3) conjuntos de datos de entrenamiento compartidos. Presentamos un caso de uso empírico extenso para el benchmark que es la búsqueda de tablas. Comparamos operadores de búsqueda canónicos de Data Lake (unibles, unificables, por palabra clave) y líneas base de Recuperación de Información (recuperación densa, dispersa, híbrida) en este benchmark. La recuperación semántica de tablas basada en unión alcanza un 54.8 % de P@1 en general (54.6 % en citas, 31.3 % en herencia, 30.6 % en señales de conjunto de datos compartidos); la recuperación densa basada en tablas alcanza un 66.5 % de P@1, y la recuperación híbrida con metadatos logra un 54.1 %. Esta evaluación indica un claro margen de mejora para desarrollar mejores métodos de búsqueda de tablas. Al liberar ModelTables y su protocolo de creación, proporcionamos el primer benchmark a gran escala de datos estructurados que describen modelos de IA. Nuestro caso de uso de descubrimiento de tablas en Model Lakes proporciona intuición y evidencia para desarrollar una recuperación semántica más precisa, una comparación estructurada y una organización fundamentada del conocimiento estructurado de modelos. El código fuente, los datos y otros artefactos están disponibles en https://github.com/RJMillerLab/ModelTables.

English

We present ModelTables, a benchmark of tables in Model Lakes that captures the structured semantics of performance and configuration tables often overlooked by text only retrieval. The corpus is built from Hugging Face model cards, GitHub READMEs, and referenced papers, linking each table to its surrounding model and publication context. Compared with open data lake tables, model tables are smaller yet exhibit denser inter table relationships, reflecting tightly coupled model and benchmark evolution. The current release covers over 60K models and 90K tables. To evaluate model and table relatedness, we construct a multi source ground truth using three complementary signals: (1) paper citation links, (2) explicit model card links and inheritance, and (3) shared training datasets. We present one extensive empirical use case for the benchmark which is table search. We compare canonical Data Lake search operators (unionable, joinable, keyword) and Information Retrieval baselines (dense, sparse, hybrid retrieval) on this benchmark. Union based semantic table retrieval attains 54.8 % P@1 overall (54.6 % on citation, 31.3 % on inheritance, 30.6 % on shared dataset signals); table based dense retrieval reaches 66.5 % P@1, and metadata hybrid retrieval achieves 54.1 %. This evaluation indicates clear room for developing better table search methods. By releasing ModelTables and its creation protocol, we provide the first large scale benchmark of structured data describing AI model. Our use case of table discovery in Model Lakes, provides intuition and evidence for developing more accurate semantic retrieval, structured comparison, and principled organization of structured model knowledge. Source code, data, and other artifacts have been made available at https://github.com/RJMillerLab/ModelTables.