Позволим многомодальным эмбеддерам изучать, когда расширять запрос с помощью адаптивного расширения запросов

Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation

November 4, 2025

Авторы: Wongyu Kim, Hochang Lee, Sanghak Lee, Yoonsung Kim, Jaehyun Park

cs.AI

Аннотация

Расширение запросов делает их более содержательными за счет добавления дополнительной информации для поиска релевантных документов. Современные исследования предложили эмбеддеры на основе больших языковых моделей (LLM), которые изучают представления для векторизации и генерации расширений запросов в многозадачном режиме, используя генеративные возможности LLM. На этапе вывода такие совместно обученные эмбеддеры выполняют расширение запроса с последующей векторизацией, демонстрируя эффективные результаты. Однако расширение каждого запроса приводит к значительной задержке векторизации, а для некоторых запросов оно может ухудшить производительность. Кроме того, предыдущие методы не исследовались в мультимодальных средах. Для решения этих проблем мы предлагаем M-Solomon — универсальный мультимодальный эмбеддер, который адаптивно определяет необходимость расширения запросов. Наш подход сначала разделяет запросы обучающих наборов данных на две группы на уровне набора данных: одна включает запросы, требующие расширения, а другая — запросы, которые в нём не нуждаются. Затем мы вводим процесс синтеза, который генерирует подходящие расширения для требующих их запросов с помощью мощной мультимодальной LLM (MLLM). Далее представлено адаптивное расширение запросов. На этом этапе M-Solomon может выполнять расширение запросов только при необходимости, обучаясь генерировать синтетические расширения с префиксом /augment для запросов, которые в них нуждаются, и простую строку /embed для остальных. Результаты экспериментов показали, что M-Solomon не только значительно превзошел базовый метод без расширения, но и превзошел базовый метод с постоянным расширением, обеспечив значительно более высокую скорость векторизации.

English

Query augmentation makes queries more meaningful by appending further information to the queries to find relevant documents. Current studies have proposed Large Language Model (LLM)-based embedders, which learn representation for embedding and generation for query augmentation in a multi-task manner by leveraging the generative capabilities of LLM. During inference, these jointly trained embedders have conducted query augmentation followed by embedding, showing effective results. However, augmenting every query leads to substantial embedding latency and query augmentation can be detrimental to performance for some queries. Also, previous methods have not been explored in multimodal environments. To tackle these problems, we propose M-Solomon, a universal multimodal embedder that can adaptively determine when to augment queries. Our approach first divides the queries of the training datasets into two groups at the dataset level. One includes queries that require augmentation and the other includes queries that do not. Then, we introduces a synthesis process that generates appropriate augmentations for queries that require them by leveraging a powerful Multimodal LLM (MLLM). Next, we present adaptive query augmentation. Through this step, M-Solomon can conduct query augmentation only when necessary by learning to generate synthetic augmentations with the prefix /augment for queries that demand them and to generate the simple string /embed for others. Experimental results showed that M-Solomon not only surpassed the baseline without augmentation by a large margin but also outperformed the baseline that always used augmentation, providing much faster embedding latency.