Qilin: Een multimodaal informatie-ophalingsdataset met app-niveau gebruikerssessies

Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions

March 1, 2025

Auteurs: Jia Chen, Qian Dong, Haitao Li, Xiaohui He, Yan Gao, Shaosheng Cao, Yi Wu, Ping Yang, Chen Xu, Yao Hu, Qingyao Ai, Yiqun Liu

cs.AI

Samenvatting

Door gebruikers gegenereerde inhoud (UGC) gemeenschappen, met name die met multimodale inhoud, verbeteren de gebruikerservaring door visuele en tekstuele informatie te integreren in resultaten (of items). De uitdaging om de gebruikerservaring te verbeteren in complexe systemen met zoek- en aanbevelingsdiensten (S&R) heeft de afgelopen jaren aanzienlijke aandacht getrokken van zowel de academische wereld als de industrie. Het gebrek aan hoogwaardige datasets heeft echter de onderzoeksvooruitgang op het gebied van multimodale S&R beperkt. Om in de groeiende behoefte te voorzien aan betere S&R-diensten, presenteren we in dit artikel een nieuwe multimodale informatie retrieval dataset, genaamd Qilin. De dataset is verzameld van Xiaohongshu, een populair sociaal platform met meer dan 300 miljoen maandelijkse actieve gebruikers en een gemiddeld zoekpenetratiepercentage van meer dan 70%. In tegenstelling tot bestaande datasets biedt Qilin een uitgebreide verzameling van gebruikersessies met heterogene resultaten zoals beeld-tekst notities, video notities, commerciële notities en directe antwoorden, wat de ontwikkeling van geavanceerde multimodale neurale retrievalmodellen in diverse taakinstellingen vergemakkelijkt. Om gebruikers tevredenheid beter te modelleren en de analyse van heterogene gebruikersgedragingen te ondersteunen, verzamelen we ook uitgebreide APP-niveau contextuele signalen en authentieke gebruikersfeedback. Opmerkelijk is dat Qilin gebruikers favoriete antwoorden en hun gerelateerde resultaten bevat voor zoekverzoeken die de Deep Query Answering (DQA) module activeren. Dit maakt niet alleen de training en evaluatie van een Retrieval-augmented Generation (RAG) pijplijn mogelijk, maar ook de verkenning van hoe zo'n module het zoekgedrag van gebruikers zou beïnvloeden. Door middel van uitgebreide analyse en experimenten bieden we interessante bevindingen en inzichten voor verdere verbetering van S&R-systemen. We hopen dat Qilin aanzienlijk zal bijdragen aan de vooruitgang van multimodale inhoudsplatforms met S&R-diensten in de toekomst.

English

User-generated content (UGC) communities, especially those featuring multimodal content, improve user experiences by integrating visual and textual information into results (or items). The challenge of improving user experiences in complex systems with search and recommendation (S\&R) services has drawn significant attention from both academia and industry these years. However, the lack of high-quality datasets has limited the research progress on multimodal S\&R. To address the growing need for developing better S\&R services, we present a novel multimodal information retrieval dataset in this paper, namely Qilin. The dataset is collected from Xiaohongshu, a popular social platform with over 300 million monthly active users and an average search penetration rate of over 70\%. In contrast to existing datasets, Qilin offers a comprehensive collection of user sessions with heterogeneous results like image-text notes, video notes, commercial notes, and direct answers, facilitating the development of advanced multimodal neural retrieval models across diverse task settings. To better model user satisfaction and support the analysis of heterogeneous user behaviors, we also collect extensive APP-level contextual signals and genuine user feedback. Notably, Qilin contains user-favored answers and their referred results for search requests triggering the Deep Query Answering (DQA) module. This allows not only the training \& evaluation of a Retrieval-augmented Generation (RAG) pipeline, but also the exploration of how such a module would affect users' search behavior. Through comprehensive analysis and experiments, we provide interesting findings and insights for further improving S\&R systems. We hope that Qilin will significantly contribute to the advancement of multimodal content platforms with S\&R services in the future.