Qilin: Um Conjunto de Dados de Recuperação de Informação Multimodal com Sessões de Usuário em Nível de Aplicativo

Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions

March 1, 2025

Autores: Jia Chen, Qian Dong, Haitao Li, Xiaohui He, Yan Gao, Shaosheng Cao, Yi Wu, Ping Yang, Chen Xu, Yao Hu, Qingyao Ai, Yiqun Liu

cs.AI

Resumo

Comunidades de conteúdo gerado pelo usuário (UGC), especialmente aquelas que apresentam conteúdo multimodal, melhoram a experiência do usuário ao integrar informações visuais e textuais nos resultados (ou itens). O desafio de aprimorar a experiência do usuário em sistemas complexos com serviços de busca e recomendação (S&R) tem atraído significativa atenção tanto da academia quanto da indústria nos últimos anos. No entanto, a falta de conjuntos de dados de alta qualidade tem limitado o progresso da pesquisa em S&R multimodal. Para atender à crescente necessidade de desenvolver melhores serviços de S&R, apresentamos neste artigo um novo conjunto de dados de recuperação de informação multimodal, denominado Qilin. O conjunto de dados foi coletado do Xiaohongshu, uma plataforma social popular com mais de 300 milhões de usuários ativos mensais e uma taxa média de penetração de busca superior a 70%. Em contraste com conjuntos de dados existentes, o Qilin oferece uma coleção abrangente de sessões de usuários com resultados heterogêneos, como notas de imagem-texto, notas de vídeo, notas comerciais e respostas diretas, facilitando o desenvolvimento de modelos avançados de recuperação neural multimodal em diversas configurações de tarefas. Para modelar melhor a satisfação do usuário e apoiar a análise de comportamentos heterogêneos dos usuários, também coletamos extensos sinais contextuais em nível de aplicativo e feedback genuíno dos usuários. Notavelmente, o Qilin contém respostas favoritas dos usuários e seus resultados referenciados para solicitações de busca que acionam o módulo de Resposta Profunda a Consultas (DQA). Isso permite não apenas o treinamento e avaliação de um pipeline de Geração Aumentada por Recuperação (RAG), mas também a exploração de como tal módulo afetaria o comportamento de busca dos usuários. Por meio de análises e experimentos abrangentes, fornecemos descobertas e insights interessantes para aprimorar ainda mais os sistemas de S&R. Esperamos que o Qilin contribua significativamente para o avanço de plataformas de conteúdo multimodal com serviços de S&R no futuro.

English

User-generated content (UGC) communities, especially those featuring multimodal content, improve user experiences by integrating visual and textual information into results (or items). The challenge of improving user experiences in complex systems with search and recommendation (S\&R) services has drawn significant attention from both academia and industry these years. However, the lack of high-quality datasets has limited the research progress on multimodal S\&R. To address the growing need for developing better S\&R services, we present a novel multimodal information retrieval dataset in this paper, namely Qilin. The dataset is collected from Xiaohongshu, a popular social platform with over 300 million monthly active users and an average search penetration rate of over 70\%. In contrast to existing datasets, Qilin offers a comprehensive collection of user sessions with heterogeneous results like image-text notes, video notes, commercial notes, and direct answers, facilitating the development of advanced multimodal neural retrieval models across diverse task settings. To better model user satisfaction and support the analysis of heterogeneous user behaviors, we also collect extensive APP-level contextual signals and genuine user feedback. Notably, Qilin contains user-favored answers and their referred results for search requests triggering the Deep Query Answering (DQA) module. This allows not only the training \& evaluation of a Retrieval-augmented Generation (RAG) pipeline, but also the exploration of how such a module would affect users' search behavior. Through comprehensive analysis and experiments, we provide interesting findings and insights for further improving S\&R systems. We hope that Qilin will significantly contribute to the advancement of multimodal content platforms with S\&R services in the future.