Comparativo de Recomendação, Classificação e Rastreamento Baseado no Grafo de Conhecimento do Hugging Face

Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph

May 23, 2025

Autores: Qiaosheng Chen, Kaijia Huang, Xiao Zhou, Weiqing Luo, Yuanning Cui, Gong Cheng

cs.AI

Resumo

O rápido crescimento de recursos de aprendizado de máquina (ML) de código aberto, como modelos e conjuntos de dados, acelerou a pesquisa em Recuperação de Informação (IR). No entanto, plataformas existentes como o Hugging Face não utilizam explicitamente representações estruturadas, limitando consultas avançadas e análises, como o rastreamento da evolução de modelos e a recomendação de conjuntos de dados relevantes. Para preencher essa lacuna, construímos o HuggingKG, o primeiro grafo de conhecimento em larga escala criado a partir da comunidade do Hugging Face para o gerenciamento de recursos de ML. Com 2,6 milhões de nós e 6,2 milhões de arestas, o HuggingKG captura relações específicas do domínio e atributos textuais ricos. Isso nos permite apresentar o HuggingBench, um benchmark de múltiplas tarefas com três novas coleções de testes para tarefas de IR, incluindo recomendação de recursos, classificação e rastreamento. Nossos experimentos revelam características únicas do HuggingKG e das tarefas derivadas. Ambos os recursos estão publicamente disponíveis, esperando avançar a pesquisa no compartilhamento e gerenciamento de recursos de código aberto.

English

The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.