Benchmarking von Empfehlungen, Klassifizierung und Nachverfolgung basierend auf dem Hugging Face-Wissensgraphen

Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph

May 23, 2025

Autoren: Qiaosheng Chen, Kaijia Huang, Xiao Zhou, Weiqing Luo, Yuanning Cui, Gong Cheng

cs.AI

Zusammenfassung

Das schnelle Wachstum von Open-Source-Ressourcen für maschinelles Lernen (ML), wie Modellen und Datensätzen, hat die IR-Forschung beschleunigt. Allerdings nutzen bestehende Plattformen wie Hugging Face strukturierte Repräsentationen nicht explizit, was fortgeschrittene Abfragen und Analysen, wie die Nachverfolgung der Modellentwicklung und die Empfehlung relevanter Datensätze, einschränkt. Um diese Lücke zu schließen, haben wir HuggingKG konstruiert, den ersten groß angelegten Wissensgraphen, der aus der Hugging-Face-Community für das ML-Ressourcenmanagement erstellt wurde. Mit 2,6 Millionen Knoten und 6,2 Millionen Kanten erfasst HuggingKG domänenspezifische Beziehungen und umfangreiche textuelle Attribute. Dies ermöglicht es uns, HuggingBench vorzustellen, einen Multi-Task-Benchmark mit drei neuartigen Testkollektionen für IR-Aufgaben, einschließlich Ressourcenempfehlung, Klassifizierung und Nachverfolgung. Unsere Experimente offenbaren einzigartige Eigenschaften von HuggingKG und den daraus abgeleiteten Aufgaben. Beide Ressourcen sind öffentlich verfügbar und sollen die Forschung im Bereich des Open-Source-Ressourcenteilens und -managements vorantreiben.

English

The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.