Benchmarken van Aanbeveling, Classificatie en Tracing Gebaseerd op Hugging Face Kennisgraaf

Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph

May 23, 2025

Auteurs: Qiaosheng Chen, Kaijia Huang, Xiao Zhou, Weiqing Luo, Yuanning Cui, Gong Cheng

cs.AI

Samenvatting

De snelle groei van open source machine learning (ML) bronnen, zoals modellen en datasets, heeft onderzoek naar informatie retrieval (IR) versneld. Bestaande platforms zoals Hugging Face maken echter geen expliciet gebruik van gestructureerde representaties, wat geavanceerde query's en analyses zoals het traceren van modelontwikkeling en het aanbevelen van relevante datasets beperkt. Om deze leemte te vullen, hebben we HuggingKG geconstrueerd, de eerste grootschalige kennisgrafiek die is opgebouwd vanuit de Hugging Face-community voor ML-bronnenbeheer. Met 2,6 miljoen nodes en 6,2 miljoen edges vangt HuggingKG domeinspecifieke relaties en rijke tekstuele attributen op. Het stelt ons in staat om HuggingBench te presenteren, een multi-task benchmark met drie nieuwe testcollecties voor IR-taken, waaronder bronaanbeveling, classificatie en tracing. Onze experimenten onthullen unieke kenmerken van HuggingKG en de afgeleide taken. Beide bronnen zijn publiekelijk beschikbaar en worden verwacht het onderzoek naar het delen en beheren van open source bronnen vooruit te helpen.

English

The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.