SQUARE: Semantische Abfrage-erweiterte Fusion und effizientes Batch-Reranking für trainingsfreie Zero-Shot Composed Image Retrieval

SQUARE: Semantic Query-Augmented Fusion and Efficient Batch Reranking for Training-free Zero-Shot Composed Image Retrieval

September 30, 2025

papers.authors: Ren-Di Wu, Yu-Yen Lin, Huei-Fang Yang

cs.AI

papers.abstract

Composed Image Retrieval (CIR) zielt darauf ab, Zielbilder abzurufen, die den visuellen Inhalt eines Referenzbildes bewahren, während gleichzeitig benutzerspezifische textuelle Modifikationen integriert werden. Trainingsfreie Zero-Shot-CIR (ZS-CIR)-Ansätze, die keine aufgabenbezogenen Trainingsdaten oder annotierte Daten erfordern, sind äußerst wünschenswert, doch die präzise Erfassung der Benutzerintention bleibt eine Herausforderung. In diesem Artikel stellen wir SQUARE vor, ein neuartiges zweistufiges, trainingsfreies Framework, das Multimodale Large Language Models (MLLMs) nutzt, um ZS-CIR zu verbessern. In der Semantic Query-Augmented Fusion (SQAF)-Stufe bereichern wir die Abfrageeinbettung, die aus einem Vision-Language-Modell (VLM) wie CLIP abgeleitet wird, mit MLLM-generierten Beschreibungen des Zielbildes. Diese Beschreibungen bieten eine hochrangige semantische Führung, wodurch die Abfrage die Intention des Benutzers besser erfassen und die globale Retrieval-Qualität verbessern kann. In der Efficient Batch Reranking (EBR)-Stufe werden die bestplatzierten Kandidaten als Bildraster mit visuellen Markierungen dem MLLM präsentiert, das eine gemeinsame visuell-semantische Analyse über alle Kandidaten hinweg durchführt. Unsere Reranking-Strategie arbeitet in einem einzigen Durchgang und liefert genauere Rangfolgen. Experimente zeigen, dass SQUARE mit seiner Einfachheit und Effektivität eine starke Leistung auf vier standardmäßigen CIR-Benchmarks erzielt. Bemerkenswerterweise behält es auch mit leichtgewichtigen vortrainierten Modellen eine hohe Leistung bei, was sein potenzielles Anwendungspotenzial unterstreicht.

English

Composed Image Retrieval (CIR) aims to retrieve target images that preserve the visual content of a reference image while incorporating user-specified textual modifications. Training-free zero-shot CIR (ZS-CIR) approaches, which require no task-specific training or labeled data, are highly desirable, yet accurately capturing user intent remains challenging. In this paper, we present SQUARE, a novel two-stage training-free framework that leverages Multimodal Large Language Models (MLLMs) to enhance ZS-CIR. In the Semantic Query-Augmented Fusion (SQAF) stage, we enrich the query embedding derived from a vision-language model (VLM) such as CLIP with MLLM-generated captions of the target image. These captions provide high-level semantic guidance, enabling the query to better capture the user's intent and improve global retrieval quality. In the Efficient Batch Reranking (EBR) stage, top-ranked candidates are presented as an image grid with visual marks to the MLLM, which performs joint visual-semantic reasoning across all candidates. Our reranking strategy operates in a single pass and yields more accurate rankings. Experiments show that SQUARE, with its simplicity and effectiveness, delivers strong performance on four standard CIR benchmarks. Notably, it maintains high performance even with lightweight pre-trained, demonstrating its potential applicability.