Hugging Faceナレッジグラフに基づく推薦、分類、追跡のベンチマーキング

Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph

May 23, 2025

著者: Qiaosheng Chen, Kaijia Huang, Xiao Zhou, Weiqing Luo, Yuanning Cui, Gong Cheng

cs.AI

要旨

オープンソースの機械学習（ML）リソース（モデルやデータセットなど）の急速な成長は、IR（情報検索）研究を加速させてきました。しかし、Hugging Faceのような既存のプラットフォームは、構造化された表現を明示的に活用していないため、モデルの進化の追跡や関連データセットの推薦といった高度なクエリや分析が制限されています。このギャップを埋めるため、我々はHugging Faceコミュニティから構築した初の大規模な知識グラフであるHuggingKGを構築しました。260万のノードと620万のエッジを持つHuggingKGは、ドメイン固有の関係性と豊富なテキスト属性を捉えています。これにより、リソース推薦、分類、追跡といったIRタスクのための3つの新しいテストコレクションを含むマルチタスクベンチマークであるHuggingBenchをさらに提示することが可能になりました。我々の実験は、HuggingKGとそこから派生するタスクの独自の特性を明らかにしています。これらのリソースは公開されており、オープンソースリソースの共有と管理に関する研究の進展が期待されます。

English

The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.