構造化テーブル発見による多様化モデル発見

要旨

モデルカードは、パフォーマンス、構成、データセットの表を含む、テキストによる説明と構造化された成果物を組み合わせてモデルの動作を記述する。既存のモデル検索システムは主にテキスト上の意味的類似性に依存しており、その結果、均質な結果セットが生成され、代替案の探索が制限される可能性がある。我々は、モデル検索は本質的に比較的であると主張する。すなわち、ユーザーはタスクに適合しつつも測定可能な点で差別化されたモデルを求める。このバランスを達成するには、冗長な説明ではなく、凝縮された高品質のエビデンスに基づく検索が必要であり、そのエビデンスの多くは構造化された表に集中していると仮説を立てる。本稿では、ModelTablesベンチマーク上に構築されたテーブル駆動型モデル検索フレームワークStructuredSemanticSearchを提案する。クエリが与えられると、StructuredSemanticSearchはタスク整合性のための意味ベースラインと、ユニオン可能性、結合可能性、キーワード検索などのテーブル発見演算子を用いてクエリに関連するモデルカードテーブルを発見する構造認識パイプラインを組み合わせる。取得されたテーブルは、制御されたtop-k予算の下でモデルカードにマッピングされ、テキストベースとテーブルベースの検索の公平な比較を可能にする。検索に加えて、StructuredSemanticSearchは方向性認識統合を通じてテーブル統合をモデルテーブル領域に適応させ、部分的に重複し、時には転置されたエビデンステーブルからコンパクトな統合ビューを生成する。評価のために、モデルカードからコンパクトなエビデンスアイテムを抽出し、クエリを条件または意図に特化したナゲットにマッチングし、取得されたモデルカード候補セットにおけるエビデンスのカバレッジと多様性を測定する、ナゲットベースの監査可能なプロトコルを導入する。このプロトコルはまた、動的なモデルレイクにおける近似的なエビデンスベースのラベリングへのスケーラブルな道筋を提供する。597のモデル推薦クエリを用いた実験では、構造認識パイプラインが意味ベースラインよりも優れたナゲットカバレッジを示した。

English

Model cards describe model behavior through a mixture of textual descriptions and structured artifacts, including performance, configuration, and dataset tables. Existing model search systems rely predominantly on semantic similarity over text, which can produce homogeneous result sets and limit exploration of alternatives. We argue that model search is inherently comparative: users want models that are task-aligned yet differentiated in measurable ways. We hypothesize that this balance requires retrieval over condensed, high-quality evidence rather than verbose descriptions, and much of that evidence is concentrated in structured tables. We present StructuredSemanticSearch, a table-driven model search framework built on the ModelTables benchmark. Given a query, StructuredSemanticSearch combines a semantic baseline for task alignment with a structure-aware pipeline that discovers query-related model-card tables using table discovery operators such as unionability, joinability, and keyword search. Retrieved tables are mapped back to model cards under a controlled top-k budget, enabling fair comparison between text-based and table-based retrieval. Beyond retrieval, StructuredSemanticSearch adapts table integration to the model-table domain through orientation-aware integration, producing compact integrated views of tables from partially overlapping and sometimes transposed evidence tables. For evaluation, we introduce a nugget-based, auditable protocol that extracts compact evidence items from model cards, matches queries to condition- or intent-specific nuggets, and measures evidence coverage and diversity over retrieved model-card candidate sets. This protocol also provides a scalable path toward approximate, evidence-based labeling in dynamic model lakes. Experiments on 597 model-recommendation queries show improved nugget coverage for the structure-aware pipeline than semantic baseline