MS MARCO Web Search: un conjunto de datos web a gran escala y rico en información con millones de etiquetas de clics reales

MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels

May 13, 2024

Autores: Qi Chen, Xiubo Geng, Corby Rosset, Carolyn Buractaon, Jingwen Lu, Tao Shen, Kun Zhou, Chenyan Xiong, Yeyun Gong, Paul Bennett, Nick Craswell, Xing Xie, Fan Yang, Bryan Tower, Nikhil Rao, Anlei Dong, Wenqi Jiang, Zheng Liu, Mingqin Li, Chuanjie Liu, Zengzhong Li, Rangan Majumder, Jennifer Neville, Andy Oakley, Knut Magne Risvik, Harsha Vardhan Simhadri, Manik Varma, Yujing Wang, Linjun Yang, Mao Yang, Ce Zhang

cs.AI

Resumen

Los recientes avances en modelos de gran escala han destacado la importancia crítica de la escala de datos, las etiquetas y las modalidades. En este artículo, presentamos MS MARCO Web Search, el primer conjunto de datos web a gran escala rico en información, que incluye millones de etiquetas de consultas-documentos con clics reales. Este conjunto de datos imita de cerca la distribución de documentos y consultas del mundo real, proporciona información valiosa para diversos tipos de tareas posteriores y fomenta la investigación en áreas como modelos de indexación neuronal de extremo a extremo, modelos de embeddings genéricos y sistemas de acceso a información de próxima generación con modelos de lenguaje de gran escala. MS MARCO Web Search ofrece un punto de referencia para la recuperación de información con tres tareas de desafío en la recuperación web que requieren innovaciones tanto en el aprendizaje automático como en los dominios de investigación de sistemas de recuperación de información. Como el primer conjunto de datos que cumple con los requisitos de ser grande, real y rico en información, MS MARCO Web Search allana el camino para futuros avances en la investigación de IA y sistemas. El conjunto de datos MS MARCO Web Search está disponible en: https://github.com/microsoft/MS-MARCO-Web-Search.

English

Recent breakthroughs in large models have highlighted the critical significance of data scale, labels and modals. In this paper, we introduce MS MARCO Web Search, the first large-scale information-rich web dataset, featuring millions of real clicked query-document labels. This dataset closely mimics real-world web document and query distribution, provides rich information for various kinds of downstream tasks and encourages research in various areas, such as generic end-to-end neural indexer models, generic embedding models, and next generation information access system with large language models. MS MARCO Web Search offers a retrieval benchmark with three web retrieval challenge tasks that demand innovations in both machine learning and information retrieval system research domains. As the first dataset that meets large, real and rich data requirements, MS MARCO Web Search paves the way for future advancements in AI and system research. MS MARCO Web Search dataset is available at: https://github.com/microsoft/MS-MARCO-Web-Search.