VideoSearch-R1 : Recherche et raisonnement vidéo itératifs via un raffinement de requête souple

Résumé

Alors que les corpus vidéo continuent de s’étendre en taille et en complexité des tâches, la nécessité d’approches capables de retrouver des vidéos pertinentes dans des corpus à grande échelle (raisonnement inter-vidéo) puis d’effectuer un raisonnement fin, conditionné par la requête, au sein du contenu récupéré (raisonnement intra-vidéo) — comme l’ancrage temporel — se fait de plus en plus pressante. Cependant, les approches existantes traitent généralement la recherche comme une étape de prétraitement ; en conséquence, lorsque la recherche initiale échoue, aucun mécanisme n’est prévu pour affiner celle-ci, ce qui conduit à l’échec du raisonnement intra-vidéo fin ultérieur. Par ailleurs, les récents cadres agentiques, bien qu’ayant fait progresser la compréhension vidéo, supposent typiquement que la vidéo pertinente à la requête est déjà donnée, se concentrant exclusivement sur les tâches de raisonnement intra-vidéo. Pour remédier à ces limitations, nous proposons VideoSearch-R1, un cadre agentique pour la recherche et le raisonnement itératifs de vidéos via une interaction multi-tours avec un moteur de recherche vidéo. Plus précisément, nous introduisons le Soft Query Refinement (SQR) pour affiner les tokens de requête de recherche dans un espace latent continu plutôt que de reformuler les requêtes dans l’espace textuel discret, permettant ainsi des ajustements plus efficaces et plus fins. Le SQR et son processus de raisonnement sont entraînés à l’aide de l’optimisation de politique relative par groupe (GRPO), guidée par des signaux de récompense au niveau de la tâche issus des tâches de recherche et des tâches aval. Ce fondement permet à VideoSearch-R1 d’atteindre des performances à l’état de l’art sur trois jeux de données pour la recherche de moments dans des corpus vidéo (VCMR), en récupérant itérativement des vidéos à partir de corpus à grande échelle, en affinant les requêtes de recherche, et en effectuant un ancrage temporel précis conditionné par la requête dans le contenu récupéré. Nos analyses montrent que le SQR affine efficacement la requête originale, nécessitant significativement moins de tokens générés qu’une reformulation explicite au niveau textuel. Le code et les points de contrôle du modèle sont disponibles publiquement à l’adresse mlvlab.github.io/VideoSearch-R1.

English

As video corpora continue to expand in both scale and task complexity, there is increasing demand for approaches that retrieve relevant videos from large-scale corpora (inter-video reasoning) and subsequently perform fine-grained, query-conditioned tasks (intra-video reasoning) within the retrieved content, such as temporal grounding. However, existing approaches typically treat retrieval as a preprocessing step, and consequently, when the initial retrieval fails, there is no mechanism to refine the search, leading to the failure of subsequent fine-grained intra-video reasoning. Moreover, while recent agentic frameworks have advanced video understanding, they typically assume that the query-relevant video is already given, focusing exclusively on intra-video reasoning tasks. To address these limitations, we propose VideoSearch-R1, an agentic framework for iterative video retrieval and reasoning through multi-turn interaction with a video search engine. Specifically, we introduce Soft Query Refinement (SQR) to refine search query tokens in a continuous latent space rather than rewriting queries in the discrete text space, enabling more efficient and fine-grained adjustments. SQR and its reasoning process are trained using Group Relative Policy Optimization (GRPO), guided by task-level reward signals derived from retrieval and downstream tasks. Building upon this, VideoSearch-R1 achieves state-of-the-art performance across three datasets on Video Corpus Moment Retrieval (VCMR), iteratively retrieving videos from large-scale corpora, refining search queries, and performing precise query-conditioned temporal grounding within the retrieved content. Our analyses show that SQR effectively refines the original query, requiring significantly fewer generated tokens than explicit text-level query refinement. Code and model checkpoints are publicly available at mlvlab.github.io/VideoSearch-R1.