Evaluación Comparativa de Recomendación, Clasificación y Rastreo Basada en el Grafo de Conocimiento de Hugging Face

Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph

May 23, 2025

Autores: Qiaosheng Chen, Kaijia Huang, Xiao Zhou, Weiqing Luo, Yuanning Cui, Gong Cheng

cs.AI

Resumen

El rápido crecimiento de los recursos de aprendizaje automático (ML) de código abierto, como modelos y conjuntos de datos, ha acelerado la investigación en recuperación de información (IR). Sin embargo, plataformas existentes como Hugging Face no utilizan explícitamente representaciones estructuradas, lo que limita consultas y análisis avanzados, como el seguimiento de la evolución de modelos y la recomendación de conjuntos de datos relevantes. Para llenar este vacío, construimos HuggingKG, el primer grafo de conocimiento a gran escala creado a partir de la comunidad de Hugging Face para la gestión de recursos de ML. Con 2.6 millones de nodos y 6.2 millones de aristas, HuggingKG captura relaciones específicas del dominio y atributos textuales enriquecidos. Esto nos permite presentar HuggingBench, un benchmark de múltiples tareas con tres colecciones de pruebas novedosas para tareas de IR, incluyendo recomendación de recursos, clasificación y seguimiento. Nuestros experimentos revelan características únicas de HuggingKG y las tareas derivadas. Ambos recursos están disponibles públicamente, con el objetivo de impulsar la investigación en el intercambio y gestión de recursos de código abierto.

English

The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.