Descubrimiento de Modelos Diversos mediante el Descubrimiento de Tablas Estructuradas

Resumen

Las fichas de modelo describen el comportamiento del modelo mediante una combinación de descripciones textuales y artefactos estructurados, incluyendo tablas de rendimiento, configuración y conjuntos de datos. Los sistemas existentes de búsqueda de modelos se basan predominantemente en la similitud semántica sobre el texto, lo que puede producir conjuntos de resultados homogéneos y limitar la exploración de alternativas. Argumentamos que la búsqueda de modelos es inherentemente comparativa: los usuarios desean modelos que estén alineados con la tarea pero diferenciados de maneras medibles. Hipotetizamos que este equilibrio requiere la recuperación de evidencia condensada y de alta calidad en lugar de descripciones extensas, y gran parte de esa evidencia se concentra en tablas estructuradas. Presentamos StructuredSemanticSearch, un marco de búsqueda de modelos basado en tablas construido sobre el punto de referencia ModelTables. Dada una consulta, StructuredSemanticSearch combina una línea base semántica para la alineación de tareas con un pipeline consciente de la estructura que descubre tablas de fichas de modelo relacionadas con la consulta utilizando operadores de descubrimiento de tablas como unionability, joinability y búsqueda por palabras clave. Las tablas recuperadas se asignan de nuevo a las fichas de modelo bajo un presupuesto controlado de top-k, lo que permite una comparación justa entre la recuperación basada en texto y la basada en tablas. Más allá de la recuperación, StructuredSemanticSearch adapta la integración de tablas al dominio de las tablas de modelos mediante una integración consciente de la orientación, produciendo vistas integradas compactas de tablas a partir de tablas de evidencia parcialmente superpuestas y a veces transpuestas. Para la evaluación, introducimos un protocolo auditable basado en nuggets que extrae elementos de evidencia compactos de las fichas de modelo, empareja las consultas con nuggets específicos de condición o intención, y mide la cobertura y diversidad de la evidencia sobre los conjuntos de candidatos de fichas de modelo recuperados. Este protocolo también proporciona un camino escalable hacia el etiquetado aproximado basado en evidencia en lagos de modelos dinámicos. Los experimentos con 597 consultas de recomendación de modelos muestran una mejora en la cobertura de nuggets para el pipeline consciente de la estructura en comparación con la línea base semántica.

English

Model cards describe model behavior through a mixture of textual descriptions and structured artifacts, including performance, configuration, and dataset tables. Existing model search systems rely predominantly on semantic similarity over text, which can produce homogeneous result sets and limit exploration of alternatives. We argue that model search is inherently comparative: users want models that are task-aligned yet differentiated in measurable ways. We hypothesize that this balance requires retrieval over condensed, high-quality evidence rather than verbose descriptions, and much of that evidence is concentrated in structured tables. We present StructuredSemanticSearch, a table-driven model search framework built on the ModelTables benchmark. Given a query, StructuredSemanticSearch combines a semantic baseline for task alignment with a structure-aware pipeline that discovers query-related model-card tables using table discovery operators such as unionability, joinability, and keyword search. Retrieved tables are mapped back to model cards under a controlled top-k budget, enabling fair comparison between text-based and table-based retrieval. Beyond retrieval, StructuredSemanticSearch adapts table integration to the model-table domain through orientation-aware integration, producing compact integrated views of tables from partially overlapping and sometimes transposed evidence tables. For evaluation, we introduce a nugget-based, auditable protocol that extracts compact evidence items from model cards, matches queries to condition- or intent-specific nuggets, and measures evidence coverage and diversity over retrieved model-card candidate sets. This protocol also provides a scalable path toward approximate, evidence-based labeling in dynamic model lakes. Experiments on 597 model-recommendation queries show improved nugget coverage for the structure-aware pipeline than semantic baseline