MS MARCO Web Search: Ein umfangreicher, informationsreicher Web-Datensatz mit Millionen echter Klick-Labels

MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels

May 13, 2024

papers.authors: Qi Chen, Xiubo Geng, Corby Rosset, Carolyn Buractaon, Jingwen Lu, Tao Shen, Kun Zhou, Chenyan Xiong, Yeyun Gong, Paul Bennett, Nick Craswell, Xing Xie, Fan Yang, Bryan Tower, Nikhil Rao, Anlei Dong, Wenqi Jiang, Zheng Liu, Mingqin Li, Chuanjie Liu, Zengzhong Li, Rangan Majumder, Jennifer Neville, Andy Oakley, Knut Magne Risvik, Harsha Vardhan Simhadri, Manik Varma, Yujing Wang, Linjun Yang, Mao Yang, Ce Zhang

cs.AI

papers.abstract

Jüngste Durchbrüche bei großen Modellen haben die entscheidende Bedeutung von Datenausmaß, Labels und Modalitäten hervorgehoben. In diesem Papier stellen wir MS MARCO Web Search vor, den ersten groß angelegten, informationsreichen Web-Datensatz, der Millionen von tatsächlichen angeklickten Anfrage-Dokument-Labels enthält. Dieser Datensatz ahmt realistisch die Verteilung von Webdokumenten und Anfragen nach und liefert umfassende Informationen für verschiedene Arten von nachgelagerten Aufgaben. Er ermutigt zu Forschungen in verschiedenen Bereichen, wie generische End-to-End-Neural-Indexer-Modelle, generische Einbettungsmodelle und Informationssysteme der nächsten Generation mit großen Sprachmodellen. MS MARCO Web Search bietet einen Abrufbenchmark mit drei Web-Abrufherausforderungsaufgaben, die Innovationen sowohl in den Forschungsbereichen maschinelles Lernen als auch Informationssysteme erfordern. Als erster Datensatz, der die Anforderungen an große, reale und umfassende Daten erfüllt, ebnet MS MARCO Web Search den Weg für zukünftige Fortschritte in der KI- und Systemforschung. Der MS MARCO Web Search-Datensatz ist verfügbar unter: https://github.com/microsoft/MS-MARCO-Web-Search.

English

Recent breakthroughs in large models have highlighted the critical significance of data scale, labels and modals. In this paper, we introduce MS MARCO Web Search, the first large-scale information-rich web dataset, featuring millions of real clicked query-document labels. This dataset closely mimics real-world web document and query distribution, provides rich information for various kinds of downstream tasks and encourages research in various areas, such as generic end-to-end neural indexer models, generic embedding models, and next generation information access system with large language models. MS MARCO Web Search offers a retrieval benchmark with three web retrieval challenge tasks that demand innovations in both machine learning and information retrieval system research domains. As the first dataset that meets large, real and rich data requirements, MS MARCO Web Search paves the way for future advancements in AI and system research. MS MARCO Web Search dataset is available at: https://github.com/microsoft/MS-MARCO-Web-Search.