Laat multimodale inbedders leren wanneer ze query's moeten verrijken via adaptieve query-augmentatie.

Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation

November 4, 2025

Auteurs: Wongyu Kim, Hochang Lee, Sanghak Lee, Yoonsung Kim, Jaehyun Park

cs.AI

Samenvatting

Query-augmentatie maakt zoekopdrachten betekenisvoller door aanvullende informatie aan de queries toe te voegen om relevante documenten te vinden. Recente studies hebben embedders voorgesteld op basis van Large Language Models (LLM's), die representatie voor embedding en generatie voor query-augmentatie leren in een multi-task aanpak door gebruik te maken van de generatieve capaciteiten van LLM's. Tijdens inferentie hebben deze gezamenlijk getrainde embedders query-augmentatie gevolgd door embedding uitgevoerd, met effectieve resultaten. Het augmenteren van elke query leidt echter tot aanzienlijke embeddinglatentie en kan voor sommige queries nadelig zijn voor de prestaties. Bovendien zijn eerdere methoden niet onderzocht in multimodale omgevingen. Om deze problemen aan te pakken, stellen we M-Solomon voor, een universele multimodale embedder die adaptief kan bepalen wanneer queries geaugmenteerd moeten worden. Onze aanpak deelt eerst de queries van de trainingsdatasets op datasetniveau in twee groepen in. De ene groep bevat queries die augmentatie vereisen en de andere queries die dat niet doen. Vervolgens introduceren we een syntheseproces dat geschikte augmentaties genereert voor queries die deze nodig hebben, met behulp van een krachtige Multimodal LLM (MLLM). Daarna presenteren we adaptieve query-augmentatie. Door deze stap kan M-Solomon query-augmentatie alleen uitvoeren wanneer nodig, door te leren synthetische augmentaties te genereren met het prefix /augment voor queries die deze vereisen, en de eenvoudige string /embed voor andere queries. Experimentele resultaten toonden aan dat M-Solomon niet alleen de baseline zonder augmentatie met een grote marge overtrof, maar ook de baseline die altijd augmentatie gebruikte outperformeerde, met een aanzienlijk snellere embeddinglatentie.

English

Query augmentation makes queries more meaningful by appending further information to the queries to find relevant documents. Current studies have proposed Large Language Model (LLM)-based embedders, which learn representation for embedding and generation for query augmentation in a multi-task manner by leveraging the generative capabilities of LLM. During inference, these jointly trained embedders have conducted query augmentation followed by embedding, showing effective results. However, augmenting every query leads to substantial embedding latency and query augmentation can be detrimental to performance for some queries. Also, previous methods have not been explored in multimodal environments. To tackle these problems, we propose M-Solomon, a universal multimodal embedder that can adaptively determine when to augment queries. Our approach first divides the queries of the training datasets into two groups at the dataset level. One includes queries that require augmentation and the other includes queries that do not. Then, we introduces a synthesis process that generates appropriate augmentations for queries that require them by leveraging a powerful Multimodal LLM (MLLM). Next, we present adaptive query augmentation. Through this step, M-Solomon can conduct query augmentation only when necessary by learning to generate synthetic augmentations with the prefix /augment for queries that demand them and to generate the simple string /embed for others. Experimental results showed that M-Solomon not only surpassed the baseline without augmentation by a large margin but also outperformed the baseline that always used augmentation, providing much faster embedding latency.