Qilin : Un ensemble de données de recherche d'information multimodale avec des sessions utilisateur au niveau des applications

Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions

March 1, 2025

Auteurs: Jia Chen, Qian Dong, Haitao Li, Xiaohui He, Yan Gao, Shaosheng Cao, Yi Wu, Ping Yang, Chen Xu, Yao Hu, Qingyao Ai, Yiqun Liu

cs.AI

Résumé

Les communautés de contenu généré par les utilisateurs (UGC), en particulier celles mettant en avant du contenu multimodal, améliorent l'expérience utilisateur en intégrant des informations visuelles et textuelles dans les résultats (ou éléments). Le défi d'améliorer l'expérience utilisateur dans des systèmes complexes avec des services de recherche et de recommandation (S&R) a suscité une attention significative de la part des milieux académiques et industriels ces dernières années. Cependant, le manque de jeux de données de haute qualité a limité les progrès de la recherche sur les S&R multimodaux. Pour répondre au besoin croissant de développer de meilleurs services S&R, nous présentons dans cet article un nouveau jeu de données de recherche d'information multimodale, nommé Qilin. Ce jeu de données est collecté à partir de Xiaohongshu, une plateforme sociale populaire comptant plus de 300 millions d'utilisateurs actifs mensuels et un taux de pénétration de recherche moyen de plus de 70 %. Contrairement aux jeux de données existants, Qilin offre une collection complète de sessions utilisateur avec des résultats hétérogènes tels que des notes image-texte, des notes vidéo, des notes commerciales et des réponses directes, facilitant le développement de modèles de recherche neuronale multimodale avancés dans divers contextes de tâches. Pour mieux modéliser la satisfaction des utilisateurs et soutenir l'analyse des comportements utilisateur hétérogènes, nous collectons également des signaux contextuels étendus au niveau de l'application et des retours authentiques des utilisateurs. Notamment, Qilin contient des réponses privilégiées par les utilisateurs et leurs résultats référencés pour les requêtes de recherche déclenchant le module de Réponse Profonde aux Requêtes (DQA). Cela permet non seulement l'entraînement et l'évaluation d'un pipeline de Génération Augmentée par la Recherche (RAG), mais aussi l'exploration de la manière dont un tel module affecte le comportement de recherche des utilisateurs. À travers des analyses et expériences approfondies, nous fournissons des découvertes et des insights intéressants pour améliorer davantage les systèmes S&R. Nous espérons que Qilin contribuera significativement à l'avancement des plateformes de contenu multimodal avec services S&R à l'avenir.

English

User-generated content (UGC) communities, especially those featuring multimodal content, improve user experiences by integrating visual and textual information into results (or items). The challenge of improving user experiences in complex systems with search and recommendation (S\&R) services has drawn significant attention from both academia and industry these years. However, the lack of high-quality datasets has limited the research progress on multimodal S\&R. To address the growing need for developing better S\&R services, we present a novel multimodal information retrieval dataset in this paper, namely Qilin. The dataset is collected from Xiaohongshu, a popular social platform with over 300 million monthly active users and an average search penetration rate of over 70\%. In contrast to existing datasets, Qilin offers a comprehensive collection of user sessions with heterogeneous results like image-text notes, video notes, commercial notes, and direct answers, facilitating the development of advanced multimodal neural retrieval models across diverse task settings. To better model user satisfaction and support the analysis of heterogeneous user behaviors, we also collect extensive APP-level contextual signals and genuine user feedback. Notably, Qilin contains user-favored answers and their referred results for search requests triggering the Deep Query Answering (DQA) module. This allows not only the training \& evaluation of a Retrieval-augmented Generation (RAG) pipeline, but also the exploration of how such a module would affect users' search behavior. Through comprehensive analysis and experiments, we provide interesting findings and insights for further improving S\&R systems. We hope that Qilin will significantly contribute to the advancement of multimodal content platforms with S\&R services in the future.