MS MARCO Web Search: un Ampio Dataset Web Ricco di Informazioni con Milioni di Etichette di Click Reali

MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels

May 13, 2024

Autori: Qi Chen, Xiubo Geng, Corby Rosset, Carolyn Buractaon, Jingwen Lu, Tao Shen, Kun Zhou, Chenyan Xiong, Yeyun Gong, Paul Bennett, Nick Craswell, Xing Xie, Fan Yang, Bryan Tower, Nikhil Rao, Anlei Dong, Wenqi Jiang, Zheng Liu, Mingqin Li, Chuanjie Liu, Zengzhong Li, Rangan Majumder, Jennifer Neville, Andy Oakley, Knut Magne Risvik, Harsha Vardhan Simhadri, Manik Varma, Yujing Wang, Linjun Yang, Mao Yang, Ce Zhang

cs.AI

Abstract

I recenti progressi nei modelli di grandi dimensioni hanno evidenziato l'importanza cruciale della scala dei dati, delle etichette e delle modalità. In questo articolo, presentiamo MS MARCO Web Search, il primo dataset web su larga scala ricco di informazioni, caratterizzato da milioni di etichette query-documento cliccate reali. Questo dataset riproduce fedelmente la distribuzione di documenti e query del mondo reale, fornisce informazioni dettagliate per vari tipi di task downstream e incoraggia la ricerca in diverse aree, come modelli neurali end-to-end generici per l'indicizzazione, modelli di embedding generici e sistemi di accesso alle informazioni di nuova generazione basati su modelli linguistici di grandi dimensioni. MS MARCO Web Search offre un benchmark di retrieval con tre task di sfida per il recupero di informazioni web che richiedono innovazioni sia nel campo dell'apprendimento automatico che in quello dei sistemi di information retrieval. Come primo dataset che soddisfa i requisiti di grandi dimensioni, realismo e ricchezza dei dati, MS MARCO Web Search apre la strada a futuri progressi nella ricerca sull'IA e sui sistemi. Il dataset MS MARCO Web Search è disponibile all'indirizzo: https://github.com/microsoft/MS-MARCO-Web-Search.

English

Recent breakthroughs in large models have highlighted the critical significance of data scale, labels and modals. In this paper, we introduce MS MARCO Web Search, the first large-scale information-rich web dataset, featuring millions of real clicked query-document labels. This dataset closely mimics real-world web document and query distribution, provides rich information for various kinds of downstream tasks and encourages research in various areas, such as generic end-to-end neural indexer models, generic embedding models, and next generation information access system with large language models. MS MARCO Web Search offers a retrieval benchmark with three web retrieval challenge tasks that demand innovations in both machine learning and information retrieval system research domains. As the first dataset that meets large, real and rich data requirements, MS MARCO Web Search paves the way for future advancements in AI and system research. MS MARCO Web Search dataset is available at: https://github.com/microsoft/MS-MARCO-Web-Search.