Laissez les intégrateurs multimodaux apprendre quand augmenter la requête via une augmentation de requête adaptative

Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation

November 4, 2025

papers.authors: Wongyu Kim, Hochang Lee, Sanghak Lee, Yoonsung Kim, Jaehyun Park

cs.AI

papers.abstract

L'augmentation de requêtes permet de rendre les requêtes plus significatives en ajoutant des informations supplémentaires pour trouver des documents pertinents. Les études actuelles ont proposé des systèmes d'embedding basés sur les grands modèles de langage (LLM), qui apprennent simultanément la représentation pour l'embedding et la génération pour l'augmentation de requêtes de manière multi-tâche en exploitant les capacités génératives des LLM. Lors de l'inférence, ces systèmes d'embedding entraînés conjointement ont réalisé l'augmentation de requêtes suivie de l'embedding, montrant des résultats efficaces. Cependant, augmenter chaque requête entraîne une latence d'embedding substantielle et l'augmentation peut être préjudiciable aux performances pour certaines requêtes. De plus, les méthodes précédentes n'ont pas été explorées dans des environnements multimodaux. Pour résoudre ces problèmes, nous proposons M-Solomon, un système d'embedding multimodal universel qui peut déterminer de manière adaptative quand augmenter les requêtes. Notre approche divise d'abord les requêtes des jeux de données d'entraînement en deux groupes au niveau du jeu de données. L'un comprend les requêtes nécessitant une augmentation et l'autre celles qui n'en nécessitent pas. Ensuite, nous introduisons un processus de synthèse qui génère des augmentations appropriées pour les requêtes qui en ont besoin en exploitant un MLLM (Multimodal Large Language Model) puissant. Puis, nous présentons l'augmentation de requêtes adaptative. Grâce à cette étape, M-Solomon peut réaliser l'augmentation de requêtes seulement lorsque nécessaire en apprenant à générer des augmentations synthétiques avec le préfixe /augment pour les requêtes qui l'exigent et à générer la simple chaîne /embed pour les autres. Les résultats expérimentaux ont montré que M-Solomon non seulement surpassait largement le système de base sans augmentation, mais aussi surpassait le système de base utilisant toujours l'augmentation, tout en offrant une latence d'embedding bien plus rapide.

English

Query augmentation makes queries more meaningful by appending further information to the queries to find relevant documents. Current studies have proposed Large Language Model (LLM)-based embedders, which learn representation for embedding and generation for query augmentation in a multi-task manner by leveraging the generative capabilities of LLM. During inference, these jointly trained embedders have conducted query augmentation followed by embedding, showing effective results. However, augmenting every query leads to substantial embedding latency and query augmentation can be detrimental to performance for some queries. Also, previous methods have not been explored in multimodal environments. To tackle these problems, we propose M-Solomon, a universal multimodal embedder that can adaptively determine when to augment queries. Our approach first divides the queries of the training datasets into two groups at the dataset level. One includes queries that require augmentation and the other includes queries that do not. Then, we introduces a synthesis process that generates appropriate augmentations for queries that require them by leveraging a powerful Multimodal LLM (MLLM). Next, we present adaptive query augmentation. Through this step, M-Solomon can conduct query augmentation only when necessary by learning to generate synthetic augmentations with the prefix /augment for queries that demand them and to generate the simple string /embed for others. Experimental results showed that M-Solomon not only surpassed the baseline without augmentation by a large margin but also outperformed the baseline that always used augmentation, providing much faster embedding latency.