VideoSearch-R1: Recuperación Iterativa de Video y Razonamiento mediante Refinamiento Suave de Consultas

Resumen

A medida que los corpus de video continúan expandiéndose tanto en escala como en complejidad de tareas, existe una demanda creciente de enfoques que recuperen videos relevantes de corpus a gran escala (razonamiento entre videos) y posteriormente realicen tareas detalladas condicionadas por la consulta (razonamiento dentro del video) en el contenido recuperado, como el anclaje temporal. Sin embargo, los enfoques existentes suelen tratar la recuperación como un paso de preprocesamiento y, en consecuencia, cuando la recuperación inicial falla, no existe un mecanismo para refinar la búsqueda, lo que lleva al fracaso del razonamiento detallado posterior dentro del video. Además, si bien los marcos agénticos recientes han avanzado en la comprensión de videos, generalmente asumen que el video relevante a la consulta ya está dado, centrándose exclusivamente en tareas de razonamiento intra-video. Para abordar estas limitaciones, proponemos VideoSearch-R1, un marco agéntico para la recuperación y el razonamiento iterativos de videos mediante interacción de múltiples turnos con un motor de búsqueda de videos. Específicamente, introducimos el refinamiento suave de consultas (Soft Query Refinement, SQR) para refinar los tokens de consulta de búsqueda en un espacio latente continuo, en lugar de reescribir las consultas en el espacio de texto discreto, lo que permite ajustes más eficientes y detallados. SQR y su proceso de razonamiento se entrenan mediante Optimización de Políticas Relativas por Grupos (Group Relative Policy Optimization, GRPO), guiados por señales de recompensa a nivel de tarea derivadas de tareas de recuperación y aguas abajo. Sobre esta base, VideoSearch-R1 logra un rendimiento de última generación en tres conjuntos de datos de Recuperación de Momentos en Corpus de Video (Video Corpus Moment Retrieval, VCMR), recuperando iterativamente videos de corpus a gran escala, refinando las consultas de búsqueda y realizando un anclaje temporal preciso condicionado por la consulta dentro del contenido recuperado. Nuestros análisis muestran que SQR refina eficazmente la consulta original, requiriendo significativamente menos tokens generados que el refinamiento explícito de consultas a nivel de texto. El código y los puntos de control del modelo están disponibles públicamente en mlvlab.github.io/VideoSearch-R1.

English

As video corpora continue to expand in both scale and task complexity, there is increasing demand for approaches that retrieve relevant videos from large-scale corpora (inter-video reasoning) and subsequently perform fine-grained, query-conditioned tasks (intra-video reasoning) within the retrieved content, such as temporal grounding. However, existing approaches typically treat retrieval as a preprocessing step, and consequently, when the initial retrieval fails, there is no mechanism to refine the search, leading to the failure of subsequent fine-grained intra-video reasoning. Moreover, while recent agentic frameworks have advanced video understanding, they typically assume that the query-relevant video is already given, focusing exclusively on intra-video reasoning tasks. To address these limitations, we propose VideoSearch-R1, an agentic framework for iterative video retrieval and reasoning through multi-turn interaction with a video search engine. Specifically, we introduce Soft Query Refinement (SQR) to refine search query tokens in a continuous latent space rather than rewriting queries in the discrete text space, enabling more efficient and fine-grained adjustments. SQR and its reasoning process are trained using Group Relative Policy Optimization (GRPO), guided by task-level reward signals derived from retrieval and downstream tasks. Building upon this, VideoSearch-R1 achieves state-of-the-art performance across three datasets on Video Corpus Moment Retrieval (VCMR), iteratively retrieving videos from large-scale corpora, refining search queries, and performing precise query-conditioned temporal grounding within the retrieved content. Our analyses show that SQR effectively refines the original query, requiring significantly fewer generated tokens than explicit text-level query refinement. Code and model checkpoints are publicly available at mlvlab.github.io/VideoSearch-R1.