VideoSearch-R1: Iteratives Video-Retrieval und Reasoning durch weiche Abfrageverfeinerung

Zusammenfassung

Mit der zunehmenden Größe und Aufgabenkomplexität von Videokorpora steigt der Bedarf an Ansätzen, die relevante Videos aus großen Korpora abrufen (Inter-Video-Schlussfolgerung) und anschließend feinkörnige, abfrageabhängige Aufgaben (Intra-Video-Schlussfolgerung) innerhalb der abgerufenen Inhalte durchführen, wie etwa das zeitliche Verankern. Bisherige Ansätze behandeln den Abruf jedoch typischerweise als Vorverarbeitungsschritt, sodass bei einem fehlgeschlagenen ersten Abruf kein Mechanismus zur Verfeinerung der Suche existiert, was zum Scheitern der anschließenden feinkörnigen Intra-Video-Schlussfolgerung führt. Darüber hinaus nehmen neuere agentische Frameworks, die das Videoverständnis vorantreiben, in der Regel an, dass das abfragerelevante Video bereits gegeben ist, und konzentrieren sich ausschließlich auf Intra-Video-Schlussfolgerungsaufgaben. Um diese Einschränkungen zu adressieren, schlagen wir VideoSearch-R1 vor, ein agentisches Framework für iterativen Videoabruf und -schlussfolgerung durch mehrfache Interaktion mit einer Videosuchmaschine. Insbesondere führen wir Soft Query Refinement (SQR) ein, um Suchabfrage-Token in einem kontinuierlichen latenten Raum zu verfeinern, anstatt Abfragen im diskreten Textraum umzuschreiben, was effizientere und feinkörnigere Anpassungen ermöglicht. SQR und sein Schlussfolgerungsprozess werden mithilfe von Group Relative Policy Optimization (GRPO) trainiert, geleitet von aufgabenbezogenen Belohnungssignalen, die aus Abruf- und nachgelagerten Aufgaben abgeleitet werden. Darauf aufbauend erzielt VideoSearch-R1 state-of-the-art Leistung über drei Datensätze beim Video Corpus Moment Retrieval (VCMR), indem es iterativ Videos aus großen Korpora abruft, Suchabfragen verfeinert und präzise abfrageabhängige zeitliche Verankerungen innerhalb der abgerufenen Inhalte durchführt. Unsere Analysen zeigen, dass SQR die ursprüngliche Abfrage effektiv verfeinert und dabei deutlich weniger generierte Token benötigt als explizite abfragetextuelle Verfeinerung. Code und Modell-Checkpoints sind öffentlich verfügbar unter mlvlab.github.io/VideoSearch-R1.

English

As video corpora continue to expand in both scale and task complexity, there is increasing demand for approaches that retrieve relevant videos from large-scale corpora (inter-video reasoning) and subsequently perform fine-grained, query-conditioned tasks (intra-video reasoning) within the retrieved content, such as temporal grounding. However, existing approaches typically treat retrieval as a preprocessing step, and consequently, when the initial retrieval fails, there is no mechanism to refine the search, leading to the failure of subsequent fine-grained intra-video reasoning. Moreover, while recent agentic frameworks have advanced video understanding, they typically assume that the query-relevant video is already given, focusing exclusively on intra-video reasoning tasks. To address these limitations, we propose VideoSearch-R1, an agentic framework for iterative video retrieval and reasoning through multi-turn interaction with a video search engine. Specifically, we introduce Soft Query Refinement (SQR) to refine search query tokens in a continuous latent space rather than rewriting queries in the discrete text space, enabling more efficient and fine-grained adjustments. SQR and its reasoning process are trained using Group Relative Policy Optimization (GRPO), guided by task-level reward signals derived from retrieval and downstream tasks. Building upon this, VideoSearch-R1 achieves state-of-the-art performance across three datasets on Video Corpus Moment Retrieval (VCMR), iteratively retrieving videos from large-scale corpora, refining search queries, and performing precise query-conditioned temporal grounding within the retrieved content. Our analyses show that SQR effectively refines the original query, requiring significantly fewer generated tokens than explicit text-level query refinement. Code and model checkpoints are publicly available at mlvlab.github.io/VideoSearch-R1.