SQUARE: Fusione Aumentata da Query Semantica e Reranking Efficiente in Batch per il Recupero di Immagini Composte Zero-Shot Senza Addestramento

SQUARE: Semantic Query-Augmented Fusion and Efficient Batch Reranking for Training-free Zero-Shot Composed Image Retrieval

September 30, 2025

Autori: Ren-Di Wu, Yu-Yen Lin, Huei-Fang Yang

cs.AI

Abstract

Il Recupero di Immagini Composte (Composed Image Retrieval, CIR) mira a recuperare immagini target che preservino il contenuto visivo di un'immagine di riferimento, incorporando modifiche testuali specificate dall'utente. Gli approcci di CIR zero-shot (ZS-CIR) senza addestramento, che non richiedono training specifico o dati etichettati, sono altamente desiderabili, ma catturare con precisione l'intento dell'utente rimane una sfida. In questo articolo, presentiamo SQUARE, un nuovo framework a due fasi senza addestramento che sfrutta i Modelli Linguistici Multimodali di Grande Scala (MLLMs) per migliorare lo ZS-CIR. Nella fase di Fusione Aumentata con Query Semantica (Semantic Query-Augmented Fusion, SQAF), arricchiamo l'embedding della query derivato da un modello visione-linguaggio (VLM) come CLIP con didascalie generate dall'MLLM dell'immagine target. Queste didascalie forniscono una guida semantica di alto livello, consentendo alla query di catturare meglio l'intento dell'utente e migliorare la qualità globale del recupero. Nella fase di Riorganizzazione Efficiente in Batch (Efficient Batch Reranking, EBR), i candidati meglio classificati vengono presentati come una griglia di immagini con segni visivi all'MLLM, che esegue un ragionamento visivo-semantico congiunto su tutti i candidati. La nostra strategia di riorganizzazione opera in un'unica passata e produce classificazioni più accurate. Gli esperimenti dimostrano che SQUARE, con la sua semplicità ed efficacia, offre prestazioni solide su quattro benchmark CIR standard. In particolare, mantiene alte prestazioni anche con modelli pre-addestrati leggeri, dimostrando la sua potenziale applicabilità.

English

Composed Image Retrieval (CIR) aims to retrieve target images that preserve the visual content of a reference image while incorporating user-specified textual modifications. Training-free zero-shot CIR (ZS-CIR) approaches, which require no task-specific training or labeled data, are highly desirable, yet accurately capturing user intent remains challenging. In this paper, we present SQUARE, a novel two-stage training-free framework that leverages Multimodal Large Language Models (MLLMs) to enhance ZS-CIR. In the Semantic Query-Augmented Fusion (SQAF) stage, we enrich the query embedding derived from a vision-language model (VLM) such as CLIP with MLLM-generated captions of the target image. These captions provide high-level semantic guidance, enabling the query to better capture the user's intent and improve global retrieval quality. In the Efficient Batch Reranking (EBR) stage, top-ranked candidates are presented as an image grid with visual marks to the MLLM, which performs joint visual-semantic reasoning across all candidates. Our reranking strategy operates in a single pass and yields more accurate rankings. Experiments show that SQUARE, with its simplicity and effectiveness, delivers strong performance on four standard CIR benchmarks. Notably, it maintains high performance even with lightweight pre-trained, demonstrating its potential applicability.