Обнаружение разнообразных моделей посредством обнаружения структурированных таблиц

Аннотация

Карточки моделей описывают поведение модели с помощью комбинации текстовых описаний и структурированных артефактов, включая таблицы производительности, конфигурации и наборов данных. Существующие системы поиска моделей в основном полагаются на семантическое сходство по тексту, что может приводить к однородным наборам результатов и ограничивать поиск альтернатив. Мы утверждаем, что поиск моделей по своей сути является сравнительным: пользователи хотят модели, которые соответствуют задаче, но различаются измеримыми способами. Мы выдвигаем гипотезу, что такой баланс требует извлечения сжатых, качественных свидетельств, а не многословных описаний, и большая часть этих свидетельств сосредоточена в структурированных таблицах. Мы представляем StructuredSemanticSearch — управляемый таблицами фреймворк для поиска моделей, построенный на основе бенчмарка ModelTables. По запросу StructuredSemanticSearch комбинирует семантический базовый подход для согласования с задачей и конвейер, учитывающий структуру, который обнаруживает связанные с запросом таблицы карточек моделей с помощью операторов обнаружения таблиц, таких как объединяемость, соединяемость и поиск по ключевым словам. Извлеченные таблицы сопоставляются с карточками моделей в рамках контролируемого бюджета top-k, что позволяет проводить справедливое сравнение между текстовым и табличным поиском. Помимо поиска, StructuredSemanticSearch адаптирует интеграцию таблиц к области таблиц моделей с помощью интеграции, учитывающей ориентацию, создавая компактные интегрированные представления таблиц из частично перекрывающихся и иногда транспонированных таблиц свидетельств. Для оценки мы вводим протокол на основе нуггетов с возможностью аудита, который извлекает компактные элементы свидетельств из карточек моделей, сопоставляет запросы с нуггетами, специфичными для условий или намерений, и измеряет покрытие и разнообразие свидетельств по извлеченным наборам кандидатов карточек моделей. Этот протокол также обеспечивает масштабируемый путь к приблизительной, основанной на свидетельствах разметке в динамических озерах моделей. Эксперименты на 597 запросах рекомендаций моделей показывают улучшенное покрытие нуггетов для конвейера, учитывающего структуру, по сравнению с семантическим базовым подходом.

English

Model cards describe model behavior through a mixture of textual descriptions and structured artifacts, including performance, configuration, and dataset tables. Existing model search systems rely predominantly on semantic similarity over text, which can produce homogeneous result sets and limit exploration of alternatives. We argue that model search is inherently comparative: users want models that are task-aligned yet differentiated in measurable ways. We hypothesize that this balance requires retrieval over condensed, high-quality evidence rather than verbose descriptions, and much of that evidence is concentrated in structured tables. We present StructuredSemanticSearch, a table-driven model search framework built on the ModelTables benchmark. Given a query, StructuredSemanticSearch combines a semantic baseline for task alignment with a structure-aware pipeline that discovers query-related model-card tables using table discovery operators such as unionability, joinability, and keyword search. Retrieved tables are mapped back to model cards under a controlled top-k budget, enabling fair comparison between text-based and table-based retrieval. Beyond retrieval, StructuredSemanticSearch adapts table integration to the model-table domain through orientation-aware integration, producing compact integrated views of tables from partially overlapping and sometimes transposed evidence tables. For evaluation, we introduce a nugget-based, auditable protocol that extracts compact evidence items from model cards, matches queries to condition- or intent-specific nuggets, and measures evidence coverage and diversity over retrieved model-card candidate sets. This protocol also provides a scalable path toward approximate, evidence-based labeling in dynamic model lakes. Experiments on 597 model-recommendation queries show improved nugget coverage for the structure-aware pipeline than semantic baseline