MS MARCO Web Search : un vaste ensemble de données web riche en informations avec des millions de labels de clics réels

MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels

May 13, 2024

Auteurs: Qi Chen, Xiubo Geng, Corby Rosset, Carolyn Buractaon, Jingwen Lu, Tao Shen, Kun Zhou, Chenyan Xiong, Yeyun Gong, Paul Bennett, Nick Craswell, Xing Xie, Fan Yang, Bryan Tower, Nikhil Rao, Anlei Dong, Wenqi Jiang, Zheng Liu, Mingqin Li, Chuanjie Liu, Zengzhong Li, Rangan Majumder, Jennifer Neville, Andy Oakley, Knut Magne Risvik, Harsha Vardhan Simhadri, Manik Varma, Yujing Wang, Linjun Yang, Mao Yang, Ce Zhang

cs.AI

Résumé

Les récentes avancées dans les grands modèles ont mis en lumière l'importance cruciale de l'échelle des données, des étiquettes et des modalités. Dans cet article, nous présentons MS MARCO Web Search, le premier ensemble de données web à grande échelle riche en informations, comportant des millions d'étiquettes réelles de requêtes-documents cliquées. Cet ensemble de données reproduit fidèlement la distribution réelle des documents et des requêtes sur le web, fournit des informations riches pour divers types de tâches en aval et encourage la recherche dans divers domaines, tels que les modèles d'indexation neuronale génériques de bout en bout, les modèles d'embedding génériques et les systèmes d'accès à l'information de nouvelle génération avec des grands modèles de langage. MS MARCO Web Search propose un benchmark de recherche avec trois tâches de défi de recherche web qui exigent des innovations dans les domaines de l'apprentissage automatique et de la recherche en systèmes de recherche d'information. En tant que premier ensemble de données répondant aux exigences de volume, de réalité et de richesse des données, MS MARCO Web Search ouvre la voie à de futures avancées dans la recherche en IA et en systèmes. L'ensemble de données MS MARCO Web Search est disponible à l'adresse suivante : https://github.com/microsoft/MS-MARCO-Web-Search.

English

Recent breakthroughs in large models have highlighted the critical significance of data scale, labels and modals. In this paper, we introduce MS MARCO Web Search, the first large-scale information-rich web dataset, featuring millions of real clicked query-document labels. This dataset closely mimics real-world web document and query distribution, provides rich information for various kinds of downstream tasks and encourages research in various areas, such as generic end-to-end neural indexer models, generic embedding models, and next generation information access system with large language models. MS MARCO Web Search offers a retrieval benchmark with three web retrieval challenge tasks that demand innovations in both machine learning and information retrieval system research domains. As the first dataset that meets large, real and rich data requirements, MS MARCO Web Search paves the way for future advancements in AI and system research. MS MARCO Web Search dataset is available at: https://github.com/microsoft/MS-MARCO-Web-Search.