Qilin: アプリケーションレベルのユーザーセッションを備えたマルチモーダル情報検索データセット

要旨

ユーザー生成コンテンツ（UGC）コミュニティ、特にマルチモーダルコンテンツを特徴とするものは、視覚的およびテキスト情報を結果（またはアイテム）に統合することでユーザー体験を向上させます。検索と推薦（S&R）サービスを備えた複雑なシステムにおけるユーザー体験の向上という課題は、近年、学界と産業界の双方から大きな注目を集めています。しかし、高品質なデータセットの不足がマルチモーダルS&Rの研究進展を制限してきました。より優れたS&Rサービスの開発に対する需要の高まりに対応するため、本論文では、新しいマルチモーダル情報検索データセット「Qilin」を紹介します。このデータセットは、月間アクティブユーザー数が3億人を超え、平均検索浸透率が70％以上の人気ソーシャルプラットフォーム「Xiaohongshu」から収集されました。既存のデータセットとは異なり、Qilinは、画像テキストノート、ビデオノート、商業ノート、直接回答など、異種の結果を含むユーザーセッションの包括的なコレクションを提供し、多様なタスク設定における高度なマルチモーダルニューラル検索モデルの開発を促進します。ユーザー満足度をより適切にモデル化し、異種のユーザー行動の分析を支援するために、広範なアプリケーションレベルのコンテキスト信号と本物のユーザーフィードバックも収集しています。特に、Qilinには、Deep Query Answering（DQA）モジュールをトリガーする検索リクエストに対するユーザーが好む回答とその参照結果が含まれています。これにより、Retrieval-augmented Generation（RAG）パイプラインのトレーニングと評価だけでなく、そのようなモジュールがユーザーの検索行動にどのように影響するかの探求も可能になります。包括的な分析と実験を通じて、S&Rシステムをさらに改善するための興味深い発見と洞察を提供します。Qilinが、将来的にS&Rサービスを備えたマルチモーダルコンテンツプラットフォームの進展に大きく貢献することを期待しています。

English

User-generated content (UGC) communities, especially those featuring multimodal content, improve user experiences by integrating visual and textual information into results (or items). The challenge of improving user experiences in complex systems with search and recommendation (S\&R) services has drawn significant attention from both academia and industry these years. However, the lack of high-quality datasets has limited the research progress on multimodal S\&R. To address the growing need for developing better S\&R services, we present a novel multimodal information retrieval dataset in this paper, namely Qilin. The dataset is collected from Xiaohongshu, a popular social platform with over 300 million monthly active users and an average search penetration rate of over 70\%. In contrast to existing datasets, Qilin offers a comprehensive collection of user sessions with heterogeneous results like image-text notes, video notes, commercial notes, and direct answers, facilitating the development of advanced multimodal neural retrieval models across diverse task settings. To better model user satisfaction and support the analysis of heterogeneous user behaviors, we also collect extensive APP-level contextual signals and genuine user feedback. Notably, Qilin contains user-favored answers and their referred results for search requests triggering the Deep Query Answering (DQA) module. This allows not only the training \& evaluation of a Retrieval-augmented Generation (RAG) pipeline, but also the exploration of how such a module would affect users' search behavior. Through comprehensive analysis and experiments, we provide interesting findings and insights for further improving S\&R systems. We hope that Qilin will significantly contribute to the advancement of multimodal content platforms with S\&R services in the future.

Qilin: アプリケーションレベルのユーザーセッションを備えたマルチモーダル情報検索データセット

Qilin: A Multimodal Information Retrieval Dataset with APP-level User Sessions

要旨

Support