Évaluation comparative de la recommandation, de la classification et du suivi basés sur le graphe de connaissances Hugging Face

Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph

May 23, 2025

Auteurs: Qiaosheng Chen, Kaijia Huang, Xiao Zhou, Weiqing Luo, Yuanning Cui, Gong Cheng

cs.AI

Résumé

La croissance rapide des ressources open source en apprentissage automatique (ML), telles que les modèles et les ensembles de données, a accéléré la recherche en recherche d'information (IR). Cependant, les plateformes existantes comme Hugging Face n'utilisent pas explicitement de représentations structurées, limitant ainsi les requêtes et analyses avancées telles que le suivi de l'évolution des modèles et la recommandation d'ensembles de données pertinents. Pour combler cette lacune, nous construisons HuggingKG, le premier graphe de connaissances à grande échelle issu de la communauté Hugging Face pour la gestion des ressources ML. Avec 2,6 millions de nœuds et 6,2 millions de relations, HuggingKG capture des relations spécifiques au domaine ainsi que des attributs textuels riches. Cela nous permet de présenter HuggingBench, un benchmark multi-tâches avec trois nouvelles collections de tests pour des tâches IR incluant la recommandation de ressources, la classification et le suivi. Nos expériences révèlent des caractéristiques uniques de HuggingKG et des tâches qui en découlent. Ces deux ressources sont publiquement disponibles et devraient faire progresser la recherche dans le partage et la gestion des ressources open source.

English

The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.