Qilin: Un conjunto de datos de recuperación de información multimodal con sesiones de usuario a nivel de aplicación

Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions

March 1, 2025

Autores: Jia Chen, Qian Dong, Haitao Li, Xiaohui He, Yan Gao, Shaosheng Cao, Yi Wu, Ping Yang, Chen Xu, Yao Hu, Qingyao Ai, Yiqun Liu

cs.AI

Resumen

Las comunidades de contenido generado por usuarios (UGC), especialmente aquellas que presentan contenido multimodal, mejoran la experiencia del usuario al integrar información visual y textual en los resultados (o elementos). El desafío de mejorar las experiencias del usuario en sistemas complejos con servicios de búsqueda y recomendación (S&R) ha atraído una atención significativa tanto de la academia como de la industria en los últimos años. Sin embargo, la falta de conjuntos de datos de alta calidad ha limitado el progreso de la investigación en S&R multimodal. Para abordar la creciente necesidad de desarrollar mejores servicios de S&R, presentamos en este artículo un nuevo conjunto de datos de recuperación de información multimodal, denominado Qilin. Este conjunto de datos se recopiló de Xiaohongshu, una plataforma social popular con más de 300 millones de usuarios activos mensuales y una tasa de penetración de búsqueda promedio de más del 70%. A diferencia de los conjuntos de datos existentes, Qilin ofrece una colección exhaustiva de sesiones de usuario con resultados heterogéneos, como notas de imagen-texto, notas de video, notas comerciales y respuestas directas, lo que facilita el desarrollo de modelos avanzados de recuperación neuronal multimodal en diversos entornos de tareas. Para modelar mejor la satisfacción del usuario y apoyar el análisis de comportamientos heterogéneos, también recopilamos señales contextuales extensas a nivel de aplicación y comentarios genuinos de los usuarios. Cabe destacar que Qilin contiene respuestas favoritas de los usuarios y sus resultados referidos para solicitudes de búsqueda que activan el módulo de Respuesta Profunda a Consultas (DQA). Esto permite no solo el entrenamiento y evaluación de una canalización de Generación Aumentada por Recuperación (RAG), sino también la exploración de cómo dicho módulo afectaría el comportamiento de búsqueda de los usuarios. A través de análisis y experimentos exhaustivos, proporcionamos hallazgos e insights interesantes para seguir mejorando los sistemas de S&R. Esperamos que Qilin contribuya significativamente al avance de las plataformas de contenido multimodal con servicios de S&R en el futuro.

English

User-generated content (UGC) communities, especially those featuring multimodal content, improve user experiences by integrating visual and textual information into results (or items). The challenge of improving user experiences in complex systems with search and recommendation (S\&R) services has drawn significant attention from both academia and industry these years. However, the lack of high-quality datasets has limited the research progress on multimodal S\&R. To address the growing need for developing better S\&R services, we present a novel multimodal information retrieval dataset in this paper, namely Qilin. The dataset is collected from Xiaohongshu, a popular social platform with over 300 million monthly active users and an average search penetration rate of over 70\%. In contrast to existing datasets, Qilin offers a comprehensive collection of user sessions with heterogeneous results like image-text notes, video notes, commercial notes, and direct answers, facilitating the development of advanced multimodal neural retrieval models across diverse task settings. To better model user satisfaction and support the analysis of heterogeneous user behaviors, we also collect extensive APP-level contextual signals and genuine user feedback. Notably, Qilin contains user-favored answers and their referred results for search requests triggering the Deep Query Answering (DQA) module. This allows not only the training \& evaluation of a Retrieval-augmented Generation (RAG) pipeline, but also the exploration of how such a module would affect users' search behavior. Through comprehensive analysis and experiments, we provide interesting findings and insights for further improving S\&R systems. We hope that Qilin will significantly contribute to the advancement of multimodal content platforms with S\&R services in the future.