Lassen Sie multimodale Einbettungssysteme durch adaptive Abfrageerweiterung lernen, wann eine Abfrage zu erweitern ist

Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation

November 4, 2025

papers.authors: Wongyu Kim, Hochang Lee, Sanghak Lee, Yoonsung Kim, Jaehyun Park

cs.AI

papers.abstract

Die Abfrageerweiterung macht Abfragen aussagekräftiger, indem sie weitere Informationen an die Abfragen anhängt, um relevante Dokumente zu finden. Aktuelle Studien haben Embedder auf Basis von Large Language Models (LLM) vorgeschlagen, die in einem Multi-Task-Ansatz Repräsentationen für das Embedding und die Generierung zur Abfrageerweiterung lernen, indem sie die generativen Fähigkeiten von LLMs nutzen. Während der Inferenz haben diese gemeinsam trainierten Embedder eine Abfrageerweiterung gefolgt vom Embedding durchgeführt und dabei effektive Ergebnisse gezeigt. Die Erweiterung jeder Abfrage führt jedoch zu erheblicher Embedding-Latenz, und die Abfrageerweiterung kann sich bei einigen Abfragen nachteilig auf die Leistung auswirken. Zudem wurden frühere Methoden nicht in multimodalen Umgebungen untersucht. Um diese Probleme zu lösen, schlagen wir M-Solomon vor, einen universellen multimodalen Embedder, der adaptiv entscheiden kann, wann Abfragen erweitert werden müssen. Unser Ansatz unterteilt zunächst die Abfragen der Trainingsdatensätze auf Datensatzebene in zwei Gruppen: eine umfasst Abfragen, die eine Erweiterung erfordern, und die andere Abfragen, die keine benötigen. Anschließend führen wir einen Syntheseprozess ein, der geeignete Erweiterungen für Abfragen, die diese benötigen, unter Verwendung eines leistungsstarken Multimodalen LLM (MLLM) generiert. Danach stellen wir die adaptive Abfrageerweiterung vor. Durch diesen Schritt kann M-Solomon Abfragen nur bei Bedarf erweitern, indem er lernt, für Abfragen, die eine Erweiterung erfordern, synthetische Erweiterungen mit dem Präfix `/augment` zu generieren, und für andere Abfragen lediglich den einfachen String `/embed` zu erzeugen. Experimentelle Ergebnisse zeigten, dass M-Solomon nicht nur die Baseline ohne Erweiterung deutlich übertraf, sondern auch die Baseline, die immer eine Erweiterung verwendete, übertreffen konnte und dabei eine viel schnellere Embedding-Latenz bot.

English

Query augmentation makes queries more meaningful by appending further information to the queries to find relevant documents. Current studies have proposed Large Language Model (LLM)-based embedders, which learn representation for embedding and generation for query augmentation in a multi-task manner by leveraging the generative capabilities of LLM. During inference, these jointly trained embedders have conducted query augmentation followed by embedding, showing effective results. However, augmenting every query leads to substantial embedding latency and query augmentation can be detrimental to performance for some queries. Also, previous methods have not been explored in multimodal environments. To tackle these problems, we propose M-Solomon, a universal multimodal embedder that can adaptively determine when to augment queries. Our approach first divides the queries of the training datasets into two groups at the dataset level. One includes queries that require augmentation and the other includes queries that do not. Then, we introduces a synthesis process that generates appropriate augmentations for queries that require them by leveraging a powerful Multimodal LLM (MLLM). Next, we present adaptive query augmentation. Through this step, M-Solomon can conduct query augmentation only when necessary by learning to generate synthetic augmentations with the prefix /augment for queries that demand them and to generate the simple string /embed for others. Experimental results showed that M-Solomon not only surpassed the baseline without augmentation by a large margin but also outperformed the baseline that always used augmentation, providing much faster embedding latency.