SQUARE : Fusion Augmentée par Requête Sémantique et Réordonnancement Efficace par Lots pour la Recherche d'Images Composées Zéro-Shot sans Apprentissage

SQUARE: Semantic Query-Augmented Fusion and Efficient Batch Reranking for Training-free Zero-Shot Composed Image Retrieval

September 30, 2025

papers.authors: Ren-Di Wu, Yu-Yen Lin, Huei-Fang Yang

cs.AI

papers.abstract

La recherche d'images composées (Composed Image Retrieval, CIR) vise à retrouver des images cibles qui préservent le contenu visuel d'une image de référence tout en intégrant des modifications textuelles spécifiées par l'utilisateur. Les approches de CIR sans apprentissage spécifique (zero-shot CIR, ZS-CIR), qui ne nécessitent ni entraînement spécifique ni données étiquetées, sont très souhaitables, mais la capture précise de l'intention de l'utilisateur reste un défi. Dans cet article, nous présentons SQUARE, un nouveau cadre en deux étapes sans apprentissage qui exploite les modèles de langage multimodaux de grande taille (Multimodal Large Language Models, MLLMs) pour améliorer la ZS-CIR. Dans l'étape de Fusion Augmentée par Requête Sémantique (Semantic Query-Augmented Fusion, SQAF), nous enrichissons l'embedding de requête dérivé d'un modèle vision-langage (Vision-Language Model, VLM) tel que CLIP avec des légendes générées par un MLLM de l'image cible. Ces légences fournissent une guidance sémantique de haut niveau, permettant à la requête de mieux capturer l'intention de l'utilisateur et d'améliorer la qualité globale de la recherche. Dans l'étape de Réordonnancement Efficace par Lots (Efficient Batch Reranking, EBR), les candidats les mieux classés sont présentés sous forme de grille d'images avec des marques visuelles au MLLM, qui effectue un raisonnement visuel-sémantique conjoint sur tous les candidats. Notre stratégie de réordonnancement fonctionne en une seule passe et produit des classements plus précis. Les expériences montrent que SQUARE, par sa simplicité et son efficacité, offre des performances solides sur quatre benchmarks standard de CIR. Notamment, il maintient des performances élevées même avec des modèles pré-entraînés légers, démontrant ainsi son applicabilité potentielle.

English

Composed Image Retrieval (CIR) aims to retrieve target images that preserve the visual content of a reference image while incorporating user-specified textual modifications. Training-free zero-shot CIR (ZS-CIR) approaches, which require no task-specific training or labeled data, are highly desirable, yet accurately capturing user intent remains challenging. In this paper, we present SQUARE, a novel two-stage training-free framework that leverages Multimodal Large Language Models (MLLMs) to enhance ZS-CIR. In the Semantic Query-Augmented Fusion (SQAF) stage, we enrich the query embedding derived from a vision-language model (VLM) such as CLIP with MLLM-generated captions of the target image. These captions provide high-level semantic guidance, enabling the query to better capture the user's intent and improve global retrieval quality. In the Efficient Batch Reranking (EBR) stage, top-ranked candidates are presented as an image grid with visual marks to the MLLM, which performs joint visual-semantic reasoning across all candidates. Our reranking strategy operates in a single pass and yields more accurate rankings. Experiments show that SQUARE, with its simplicity and effectiveness, delivers strong performance on four standard CIR benchmarks. Notably, it maintains high performance even with lightweight pre-trained, demonstrating its potential applicability.