Qilin: Ein multimodaler Informationsabruf-Datensatz mit APP-Ebene-Benutzersitzungen

papers.abstract

Nutzer-generierte Inhalte (UGC)-Communities, insbesondere solche mit multimodalem Inhalt, verbessern das Nutzererlebnis, indem sie visuelle und textuelle Informationen in die Ergebnisse (oder Elemente) integrieren. Die Herausforderung, das Nutzererlebnis in komplexen Systemen mit Such- und Empfehlungsdiensten (S\&R) zu verbessern, hat in den letzten Jahren sowohl in der Wissenschaft als auch in der Industrie erhebliche Aufmerksamkeit erregt. Der Mangel an hochwertigen Datensätzen hat jedoch den Forschungsfortschritt im Bereich des multimodalen S\&R eingeschränkt. Um dem wachsenden Bedarf an der Entwicklung besserer S\&R-Dienste gerecht zu werden, stellen wir in diesem Artikel einen neuartigen multimodalen Informationsabruf-Datensatz vor, nämlich Qilin. Der Datensatz wurde von Xiaohongshu, einer beliebten Social-Media-Plattform mit über 300 Millionen monatlich aktiven Nutzern und einer durchschnittlichen Suchpenetrationsrate von über 70\%, gesammelt. Im Gegensatz zu bestehenden Datensätzen bietet Qilin eine umfassende Sammlung von Nutzersitzungen mit heterogenen Ergebnissen wie Bild-Text-Notizen, Video-Notizen, kommerziellen Notizen und direkten Antworten, was die Entwicklung fortschrittlicher multimodaler neuronaler Retrieval-Modelle in verschiedenen Aufgabenstellungen erleichtert. Um die Nutzerzufriedenheit besser zu modellieren und die Analyse heterogener Nutzerverhaltensweisen zu unterstützen, sammeln wir auch umfangreiche APP-bezogene Kontextsignale und echte Nutzerfeedback. Bemerkenswert ist, dass Qilin nutzerbegünstigte Antworten und deren referenzierte Ergebnisse für Suchanfragen enthält, die das Deep Query Answering (DQA)-Modul auslösen. Dies ermöglicht nicht nur das Training und die Bewertung einer Retrieval-augmented Generation (RAG)-Pipeline, sondern auch die Untersuchung, wie ein solches Modul das Suchverhalten der Nutzer beeinflussen würde. Durch umfassende Analysen und Experimente liefern wir interessante Erkenntnisse und Einblicke für die weitere Verbesserung von S\&R-Systemen. Wir hoffen, dass Qilin in Zukunft einen bedeutenden Beitrag zur Weiterentwicklung von Plattformen mit multimodalem Inhalt und S\&R-Diensten leisten wird.

English

User-generated content (UGC) communities, especially those featuring multimodal content, improve user experiences by integrating visual and textual information into results (or items). The challenge of improving user experiences in complex systems with search and recommendation (S\&R) services has drawn significant attention from both academia and industry these years. However, the lack of high-quality datasets has limited the research progress on multimodal S\&R. To address the growing need for developing better S\&R services, we present a novel multimodal information retrieval dataset in this paper, namely Qilin. The dataset is collected from Xiaohongshu, a popular social platform with over 300 million monthly active users and an average search penetration rate of over 70\%. In contrast to existing datasets, Qilin offers a comprehensive collection of user sessions with heterogeneous results like image-text notes, video notes, commercial notes, and direct answers, facilitating the development of advanced multimodal neural retrieval models across diverse task settings. To better model user satisfaction and support the analysis of heterogeneous user behaviors, we also collect extensive APP-level contextual signals and genuine user feedback. Notably, Qilin contains user-favored answers and their referred results for search requests triggering the Deep Query Answering (DQA) module. This allows not only the training \& evaluation of a Retrieval-augmented Generation (RAG) pipeline, but also the exploration of how such a module would affect users' search behavior. Through comprehensive analysis and experiments, we provide interesting findings and insights for further improving S\&R systems. We hope that Qilin will significantly contribute to the advancement of multimodal content platforms with S\&R services in the future.

Qilin: Ein multimodaler Informationsabruf-Datensatz mit APP-Ebene-Benutzersitzungen

Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions

papers.abstract

Support