MS MARCO Web Search: Um Grande Conjunto de Dados Web Rico em Informações com Milhões de Rótulos de Cliques Reais

MS MARCO Web Search: a Large-scale Information-rich Web Dataset with Millions of Real Click Labels

May 13, 2024

Autores: Qi Chen, Xiubo Geng, Corby Rosset, Carolyn Buractaon, Jingwen Lu, Tao Shen, Kun Zhou, Chenyan Xiong, Yeyun Gong, Paul Bennett, Nick Craswell, Xing Xie, Fan Yang, Bryan Tower, Nikhil Rao, Anlei Dong, Wenqi Jiang, Zheng Liu, Mingqin Li, Chuanjie Liu, Zengzhong Li, Rangan Majumder, Jennifer Neville, Andy Oakley, Knut Magne Risvik, Harsha Vardhan Simhadri, Manik Varma, Yujing Wang, Linjun Yang, Mao Yang, Ce Zhang

cs.AI

Resumo

Os recentes avanços em modelos de grande escala destacaram a importância crítica da escala de dados, rótulos e modalidades. Neste artigo, apresentamos o MS MARCO Web Search, o primeiro conjunto de dados em larga escala rico em informações da web, contendo milhões de rótulos reais de consultas e documentos clicados. Esse conjunto de dados imita de perto a distribuição de documentos e consultas do mundo real, fornece informações ricas para diversos tipos de tarefas subsequentes e incentiva pesquisas em várias áreas, como modelos de indexadores neurais genéricos de ponta a ponta, modelos de embedding genéricos e sistemas de acesso à informação de próxima geração com modelos de linguagem de grande escala. O MS MARCO Web Search oferece um benchmark de recuperação com três tarefas de desafio de recuperação na web que exigem inovações tanto no aprendizado de máquina quanto nos domínios de pesquisa de sistemas de recuperação de informação. Como o primeiro conjunto de dados que atende aos requisitos de grande escala, real e rico em dados, o MS MARCO Web Search abre caminho para futuros avanços na pesquisa em IA e sistemas. O conjunto de dados MS MARCO Web Search está disponível em: https://github.com/microsoft/MS-MARCO-Web-Search.

English

Recent breakthroughs in large models have highlighted the critical significance of data scale, labels and modals. In this paper, we introduce MS MARCO Web Search, the first large-scale information-rich web dataset, featuring millions of real clicked query-document labels. This dataset closely mimics real-world web document and query distribution, provides rich information for various kinds of downstream tasks and encourages research in various areas, such as generic end-to-end neural indexer models, generic embedding models, and next generation information access system with large language models. MS MARCO Web Search offers a retrieval benchmark with three web retrieval challenge tasks that demand innovations in both machine learning and information retrieval system research domains. As the first dataset that meets large, real and rich data requirements, MS MARCO Web Search paves the way for future advancements in AI and system research. MS MARCO Web Search dataset is available at: https://github.com/microsoft/MS-MARCO-Web-Search.