SQUARE: トレーニング不要のゼロショット構成画像検索のための意味的クエリ拡張融合と効率的なバッチ再ランキング

SQUARE: Semantic Query-Augmented Fusion and Efficient Batch Reranking for Training-free Zero-Shot Composed Image Retrieval

September 30, 2025

著者: Ren-Di Wu, Yu-Yen Lin, Huei-Fang Yang

cs.AI

要旨

合成画像検索（Composed Image Retrieval, CIR）は、参照画像の視覚的コンテンツを保持しつつ、ユーザーが指定したテキストによる修正を反映したターゲット画像を検索することを目的としています。タスク固有のトレーニングやラベル付きデータを必要としないゼロショットCIR（ZS-CIR）アプローチは非常に望ましいものの、ユーザーの意図を正確に捉えることは依然として課題です。本論文では、マルチモーダル大規模言語モデル（MLLM）を活用してZS-CIRを強化する、新しい二段階のトレーニング不要フレームワークであるSQUAREを提案します。セマンティッククエリ拡張融合（Semantic Query-Augmented Fusion, SQAF）段階では、CLIPなどの視覚言語モデル（VLM）から得られたクエリ埋め込みを、MLLMが生成したターゲット画像のキャプションで強化します。これらのキャプションは高レベルのセマンティックガイダンスを提供し、クエリがユーザーの意図をより良く捉え、グローバルな検索品質を向上させます。効率的なバッチ再ランキング（Efficient Batch Reranking, EBR）段階では、上位候補を視覚的マーク付きの画像グリッドとしてMLLMに提示し、すべての候補に対して視覚的・意味的推論を共同で行います。当社の再ランキング戦略は単一パスで動作し、より正確なランキングを生成します。実験結果は、SQUAREがそのシンプルさと有効性により、4つの標準CIRベンチマークで強力なパフォーマンスを発揮することを示しています。特に、軽量な事前学習モデルを使用しても高い性能を維持し、その潜在的な適用可能性を示しています。

English

Composed Image Retrieval (CIR) aims to retrieve target images that preserve the visual content of a reference image while incorporating user-specified textual modifications. Training-free zero-shot CIR (ZS-CIR) approaches, which require no task-specific training or labeled data, are highly desirable, yet accurately capturing user intent remains challenging. In this paper, we present SQUARE, a novel two-stage training-free framework that leverages Multimodal Large Language Models (MLLMs) to enhance ZS-CIR. In the Semantic Query-Augmented Fusion (SQAF) stage, we enrich the query embedding derived from a vision-language model (VLM) such as CLIP with MLLM-generated captions of the target image. These captions provide high-level semantic guidance, enabling the query to better capture the user's intent and improve global retrieval quality. In the Efficient Batch Reranking (EBR) stage, top-ranked candidates are presented as an image grid with visual marks to the MLLM, which performs joint visual-semantic reasoning across all candidates. Our reranking strategy operates in a single pass and yields more accurate rankings. Experiments show that SQUARE, with its simplicity and effectiveness, delivers strong performance on four standard CIR benchmarks. Notably, it maintains high performance even with lightweight pre-trained, demonstrating its potential applicability.