Consenti ai modelli di embedding multimodali di apprendere quando aumentare la query tramite aumento adattivo della query

Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation

November 4, 2025

Autori: Wongyu Kim, Hochang Lee, Sanghak Lee, Yoonsung Kim, Jaehyun Park

cs.AI

Abstract

L'aumento delle query rende le interrogazioni più significative aggiungendo ulteriori informazioni per trovare documenti rilevanti. Gli studi recenti hanno proposto embedder basati su Large Language Model (LLM), che apprendono rappresentazioni per l'embedding e la generazione per l'aumento delle query in modo multi-task sfruttando le capacità generative degli LLM. Durante l'inferenza, questi embedder addestrati congiuntamente hanno eseguito l'aumento delle query seguito dall'embedding, mostrando risultati efficaci. Tuttavia, aumentare ogni query comporta una latenza di embedding significativa e l'aumento delle query può essere dannoso per le prestazioni di alcune interrogazioni. Inoltre, i metodi precedenti non sono stati esplorati in ambienti multimodali. Per affrontare questi problemi, proponiamo M-Solomon, un embedder multimodale universale in grado di determinare in modo adattivo quando aumentare le query. Il nostro approccio divide inizialmente le query dei dataset di addestramento in due gruppi a livello di dataset. Uno include le query che richiedono aumento e l'altro include quelle che non lo richiedono. Successivamente, introduciamo un processo di sintesi che genera aumenti appropriati per le query che li richiedono sfruttando un potente Multimodal LLM (MLLM). Poi, presentiamo l'aumento adattivo delle query. Attraverso questo passo, M-Solomon può effettuare l'aumento delle query solo quando necessario, imparando a generare aumenti sintetici con il prefisso /augment per le query che lo richiedono e a generare la semplice stringa /embed per le altre. I risultati sperimentali hanno dimostrato che M-Solomon non solo ha superato di gran lunga la baseline senza aumento, ma ha anche superato la baseline che utilizzava sempre l'aumento, fornendo una latenza di embedding molto più rapida.

English

Query augmentation makes queries more meaningful by appending further information to the queries to find relevant documents. Current studies have proposed Large Language Model (LLM)-based embedders, which learn representation for embedding and generation for query augmentation in a multi-task manner by leveraging the generative capabilities of LLM. During inference, these jointly trained embedders have conducted query augmentation followed by embedding, showing effective results. However, augmenting every query leads to substantial embedding latency and query augmentation can be detrimental to performance for some queries. Also, previous methods have not been explored in multimodal environments. To tackle these problems, we propose M-Solomon, a universal multimodal embedder that can adaptively determine when to augment queries. Our approach first divides the queries of the training datasets into two groups at the dataset level. One includes queries that require augmentation and the other includes queries that do not. Then, we introduces a synthesis process that generates appropriate augmentations for queries that require them by leveraging a powerful Multimodal LLM (MLLM). Next, we present adaptive query augmentation. Through this step, M-Solomon can conduct query augmentation only when necessary by learning to generate synthetic augmentations with the prefix /augment for queries that demand them and to generate the simple string /embed for others. Experimental results showed that M-Solomon not only surpassed the baseline without augmentation by a large margin but also outperformed the baseline that always used augmentation, providing much faster embedding latency.