適応的クエリ拡張によるマルチモーダル埋め込みモデルのクエリ拡張タイミングの学習

要旨

クエリ拡張は、クエリに関連する文書を見つけるために追加情報を付与することで、クエリをより意味のあるものにする手法である。近年の研究では、大規模言語モデル（LLM）の生成能力を活用し、埋め込み表現の学習とクエリ拡張の生成をマルチタスク方式で行うLLMベースの埋め込みモデルが提案されている。推論時には、これらの共同訓練された埋め込みモデルがクエリ拡張を行った後に埋め込み処理を実施し、効果的な結果を示している。しかし、すべてのクエリを拡張すると埋め込みの遅延が大幅に増大し、一部のクエリでは性能低下を招く可能性がある。また、従来手法はマルチモーダル環境では検討されていない。これらの課題に対処するため、我々はクエリ拡張を適応的に判断可能な普遍的なマルチモーダル埋め込みモデルM-Solomonを提案する。本手法ではまず、訓練データセットのクエリをデータセットレベルで二群に分割する。一方は拡張を要するクエリ群、他方は拡張を要さないクエリ群である。次に、強力なマルチモーダルLLM（MLLM）を活用して、拡張を要するクエリに適切な拡張文を生成する合成プロセスを導入する。さらに適応的クエリ拡張を提案し、M-Solomonが拡張を要するクエリには接頭辞/augmentを付加した合成拡張文を生成し、それ以外のクエリには単純な文字列/embedを生成することを学習することで、必要時にのみクエリ拡張を実行可能とする。実験結果では、M-Solomonが拡張なしのベースラインを大幅に上回っただけでなく、常に拡張を行うベースラインよりも優れた性能を示し、埋め込み遅延も大幅に改善された。

English

Query augmentation makes queries more meaningful by appending further information to the queries to find relevant documents. Current studies have proposed Large Language Model (LLM)-based embedders, which learn representation for embedding and generation for query augmentation in a multi-task manner by leveraging the generative capabilities of LLM. During inference, these jointly trained embedders have conducted query augmentation followed by embedding, showing effective results. However, augmenting every query leads to substantial embedding latency and query augmentation can be detrimental to performance for some queries. Also, previous methods have not been explored in multimodal environments. To tackle these problems, we propose M-Solomon, a universal multimodal embedder that can adaptively determine when to augment queries. Our approach first divides the queries of the training datasets into two groups at the dataset level. One includes queries that require augmentation and the other includes queries that do not. Then, we introduces a synthesis process that generates appropriate augmentations for queries that require them by leveraging a powerful Multimodal LLM (MLLM). Next, we present adaptive query augmentation. Through this step, M-Solomon can conduct query augmentation only when necessary by learning to generate synthetic augmentations with the prefix /augment for queries that demand them and to generate the simple string /embed for others. Experimental results showed that M-Solomon not only surpassed the baseline without augmentation by a large margin but also outperformed the baseline that always used augmentation, providing much faster embedding latency.

適応的クエリ拡張によるマルチモーダル埋め込みモデルのクエリ拡張タイミングの学習

Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation

要旨

Support