SQUARE: Семантическое расширение запросов, эффективное объединение и пакетное ранжирование для обучения без данных в задаче нулевого сэмплинга составного поиска изображений

Аннотация

Составной поиск изображений (Composed Image Retrieval, CIR) направлен на поиск целевых изображений, которые сохраняют визуальное содержание эталонного изображения, одновременно учитывая текстовые модификации, заданные пользователем. Подходы к CIR без обучения (zero-shot CIR, ZS-CIR), которые не требуют специфического обучения или размеченных данных, крайне привлекательны, однако точное улавливание намерений пользователя остается сложной задачей. В данной статье мы представляем SQUARE, новую двухэтапную структуру без обучения, которая использует Мультимодальные Большие Языковые Модели (Multimodal Large Language Models, MLLMs) для улучшения ZS-CIR. На этапе Семантического Расширения Запроса (Semantic Query-Augmented Fusion, SQAF) мы обогащаем вектор запроса, полученный из модели "визуальный язык" (Vision-Language Model, VLM), такой как CLIP, сгенерированными MLLM описаниями целевого изображения. Эти описания предоставляют высокоуровневую семантическую направленность, позволяя запросу лучше улавливать намерения пользователя и повышать качество глобального поиска. На этапе Эффективного Переранжирования Пакетов (Efficient Batch Reranking, EBR) кандидаты с наивысшим рейтингом представляются в виде сетки изображений с визуальными отметками для MLLM, которая выполняет совместное визуально-семантическое рассуждение для всех кандидатов. Наша стратегия переранжирования работает за один проход и обеспечивает более точное ранжирование. Эксперименты показывают, что SQUARE, благодаря своей простоте и эффективности, демонстрирует высокую производительность на четырех стандартных тестах CIR. Примечательно, что она сохраняет высокую производительность даже с легковесными предобученными моделями, что подчеркивает ее потенциальную применимость.

English

Composed Image Retrieval (CIR) aims to retrieve target images that preserve the visual content of a reference image while incorporating user-specified textual modifications. Training-free zero-shot CIR (ZS-CIR) approaches, which require no task-specific training or labeled data, are highly desirable, yet accurately capturing user intent remains challenging. In this paper, we present SQUARE, a novel two-stage training-free framework that leverages Multimodal Large Language Models (MLLMs) to enhance ZS-CIR. In the Semantic Query-Augmented Fusion (SQAF) stage, we enrich the query embedding derived from a vision-language model (VLM) such as CLIP with MLLM-generated captions of the target image. These captions provide high-level semantic guidance, enabling the query to better capture the user's intent and improve global retrieval quality. In the Efficient Batch Reranking (EBR) stage, top-ranked candidates are presented as an image grid with visual marks to the MLLM, which performs joint visual-semantic reasoning across all candidates. Our reranking strategy operates in a single pass and yields more accurate rankings. Experiments show that SQUARE, with its simplicity and effectiveness, delivers strong performance on four standard CIR benchmarks. Notably, it maintains high performance even with lightweight pre-trained, demonstrating its potential applicability.

SQUARE: Semantic Query-Augmented Fusion and Efficient Batch Reranking for Training-free Zero-Shot Composed Image Retrieval

Аннотация

Support