Descoberta de Modelos Diversos via Descoberta de Tabelas Estruturadas

Resumo

Model cards descrevem o comportamento do modelo por meio de uma mistura de descrições textuais e artefatos estruturados, incluindo tabelas de desempenho, configuração e conjuntos de dados. Os sistemas existentes de busca de modelos dependem predominantemente da similaridade semântica sobre texto, o que pode produzir conjuntos de resultados homogêneos e limitar a exploração de alternativas. Argumentamos que a busca de modelos é inerentemente comparativa: os usuários desejam modelos que estejam alinhados com a tarefa, mas que sejam diferenciados de maneiras mensuráveis. Hipotetizamos que esse equilíbrio exige recuperação sobre evidências condensadas e de alta qualidade, em vez de descrições verbosas, e grande parte dessas evidências está concentrada em tabelas estruturadas. Apresentamos o StructuredSemanticSearch, um framework de busca de modelos orientado por tabelas, construído sobre o benchmark ModelTables. Dada uma consulta, o StructuredSemanticSearch combina uma linha de base semântica para alinhamento de tarefas com um pipeline ciente de estrutura que descobre tabelas de model cards relacionadas à consulta usando operadores de descoberta de tabelas como unionabilidade, joinabilidade e busca por palavras-chave. As tabelas recuperadas são mapeadas de volta para os model cards sob um orçamento controlado de top-k, permitindo uma comparação justa entre a recuperação baseada em texto e a baseada em tabelas. Além da recuperação, o StructuredSemanticSearch adapta a integração de tabelas ao domínio de model tables por meio da integração ciente de orientação, produzindo visões integradas compactas de tabelas a partir de tabelas de evidência parcialmente sobrepostas e, às vezes, transpostas. Para avaliação, introduzimos um protocolo auditável baseado em nuggets que extrai itens de evidência compactos dos model cards, associa consultas a nuggets específicos de condição ou intenção e mede a cobertura e a diversidade de evidências sobre os conjuntos candidatos de model cards recuperados. Esse protocolo também fornece um caminho escalável para rotulagem aproximada baseada em evidências em lagos de modelos dinâmicos. Experimentos em 597 consultas de recomendação de modelos mostram uma cobertura de nuggets melhorada para o pipeline ciente de estrutura em comparação com a linha de base semântica.

English

Model cards describe model behavior through a mixture of textual descriptions and structured artifacts, including performance, configuration, and dataset tables. Existing model search systems rely predominantly on semantic similarity over text, which can produce homogeneous result sets and limit exploration of alternatives. We argue that model search is inherently comparative: users want models that are task-aligned yet differentiated in measurable ways. We hypothesize that this balance requires retrieval over condensed, high-quality evidence rather than verbose descriptions, and much of that evidence is concentrated in structured tables. We present StructuredSemanticSearch, a table-driven model search framework built on the ModelTables benchmark. Given a query, StructuredSemanticSearch combines a semantic baseline for task alignment with a structure-aware pipeline that discovers query-related model-card tables using table discovery operators such as unionability, joinability, and keyword search. Retrieved tables are mapped back to model cards under a controlled top-k budget, enabling fair comparison between text-based and table-based retrieval. Beyond retrieval, StructuredSemanticSearch adapts table integration to the model-table domain through orientation-aware integration, producing compact integrated views of tables from partially overlapping and sometimes transposed evidence tables. For evaluation, we introduce a nugget-based, auditable protocol that extracts compact evidence items from model cards, matches queries to condition- or intent-specific nuggets, and measures evidence coverage and diversity over retrieved model-card candidate sets. This protocol also provides a scalable path toward approximate, evidence-based labeling in dynamic model lakes. Experiments on 597 model-recommendation queries show improved nugget coverage for the structure-aware pipeline than semantic baseline