Бенчмаркинг рекомендаций, классификации и отслеживания на основе графа знаний Hugging Face

Benchmarking Recommendation, Classification, and Tracing Based on Hugging Face Knowledge Graph

May 23, 2025

Авторы: Qiaosheng Chen, Kaijia Huang, Xiao Zhou, Weiqing Luo, Yuanning Cui, Gong Cheng

cs.AI

Аннотация

Быстрый рост открытых ресурсов машинного обучения (ML), таких как модели и наборы данных, ускорил исследования в области информационного поиска (IR). Однако существующие платформы, такие как Hugging Face, не используют явно структурированные представления, что ограничивает возможность выполнения сложных запросов и анализа, например, отслеживания эволюции моделей и рекомендации соответствующих наборов данных. Чтобы заполнить этот пробел, мы создали HuggingKG — первую крупномасштабную графовую базу знаний, построенную на основе сообщества Hugging Face для управления ресурсами ML. Содержащая 2,6 миллиона узлов и 6,2 миллиона связей, HuggingKG фиксирует доменно-специфические отношения и богатые текстовые атрибуты. Это позволяет нам представить HuggingBench — многозадачный бенчмарк с тремя новыми тестовыми коллекциями для задач IR, включая рекомендацию ресурсов, классификацию и отслеживание. Наши эксперименты выявляют уникальные характеристики HuggingKG и производных задач. Оба ресурса доступны публично и, как ожидается, будут способствовать развитию исследований в области обмена и управления открытыми ресурсами.

English

The rapid growth of open source machine learning (ML) resources, such as models and datasets, has accelerated IR research. However, existing platforms like Hugging Face do not explicitly utilize structured representations, limiting advanced queries and analyses such as tracing model evolution and recommending relevant datasets. To fill the gap, we construct HuggingKG, the first large-scale knowledge graph built from the Hugging Face community for ML resource management. With 2.6 million nodes and 6.2 million edges, HuggingKG captures domain-specific relations and rich textual attributes. It enables us to further present HuggingBench, a multi-task benchmark with three novel test collections for IR tasks including resource recommendation, classification, and tracing. Our experiments reveal unique characteristics of HuggingKG and the derived tasks. Both resources are publicly available, expected to advance research in open source resource sharing and management.