Qilin: Un Dataset di Recupero delle Informazioni Multimodale con Sessioni Utente a Livello di Applicazione

Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions

March 1, 2025

Autori: Jia Chen, Qian Dong, Haitao Li, Xiaohui He, Yan Gao, Shaosheng Cao, Yi Wu, Ping Yang, Chen Xu, Yao Hu, Qingyao Ai, Yiqun Liu

cs.AI

Abstract

Le comunità di contenuti generati dagli utenti (UGC), in particolare quelle che presentano contenuti multimodali, migliorano l'esperienza utente integrando informazioni visive e testuali nei risultati (o elementi). La sfida di migliorare l'esperienza utente in sistemi complessi con servizi di ricerca e raccomandazione (S&R) ha attirato notevole attenzione sia dal mondo accademico che dall'industria negli ultimi anni. Tuttavia, la mancanza di dataset di alta qualità ha limitato i progressi della ricerca sul S&R multimodale. Per rispondere alla crescente necessità di sviluppare servizi S&R migliori, presentiamo in questo articolo un nuovo dataset per il recupero di informazioni multimodali, denominato Qilin. Il dataset è stato raccolto da Xiaohongshu, una popolare piattaforma sociale con oltre 300 milioni di utenti attivi mensili e un tasso di penetrazione della ricerca medio superiore al 70%. A differenza dei dataset esistenti, Qilin offre una raccolta completa di sessioni utente con risultati eterogenei come note con immagini e testo, note video, note commerciali e risposte dirette, facilitando lo sviluppo di modelli neurali avanzati per il recupero multimodale in diversi contesti di task. Per modellare meglio la soddisfazione dell'utente e supportare l'analisi di comportamenti utente eterogenei, abbiamo anche raccolto ampi segnali contestuali a livello di APP e feedback autentici degli utenti. In particolare, Qilin contiene risposte preferite dagli utenti e i risultati a cui si riferiscono per richieste di ricerca che attivano il modulo Deep Query Answering (DQA). Ciò consente non solo l'addestramento e la valutazione di una pipeline Retrieval-augmented Generation (RAG), ma anche l'esplorazione di come un tale modulo influenzi il comportamento di ricerca degli utenti. Attraverso analisi e esperimenti completi, forniamo risultati e spunti interessanti per ulteriori miglioramenti dei sistemi S&R. Speriamo che Qilin contribuisca significativamente al progresso delle piattaforme di contenuti multimodali con servizi S&R in futuro.

English

User-generated content (UGC) communities, especially those featuring multimodal content, improve user experiences by integrating visual and textual information into results (or items). The challenge of improving user experiences in complex systems with search and recommendation (S\&R) services has drawn significant attention from both academia and industry these years. However, the lack of high-quality datasets has limited the research progress on multimodal S\&R. To address the growing need for developing better S\&R services, we present a novel multimodal information retrieval dataset in this paper, namely Qilin. The dataset is collected from Xiaohongshu, a popular social platform with over 300 million monthly active users and an average search penetration rate of over 70\%. In contrast to existing datasets, Qilin offers a comprehensive collection of user sessions with heterogeneous results like image-text notes, video notes, commercial notes, and direct answers, facilitating the development of advanced multimodal neural retrieval models across diverse task settings. To better model user satisfaction and support the analysis of heterogeneous user behaviors, we also collect extensive APP-level contextual signals and genuine user feedback. Notably, Qilin contains user-favored answers and their referred results for search requests triggering the Deep Query Answering (DQA) module. This allows not only the training \& evaluation of a Retrieval-augmented Generation (RAG) pipeline, but also the exploration of how such a module would affect users' search behavior. Through comprehensive analysis and experiments, we provide interesting findings and insights for further improving S\&R systems. We hope that Qilin will significantly contribute to the advancement of multimodal content platforms with S\&R services in the future.