VideoSearch-R1: 소프트 쿼리 정제를 통한 반복적 비디오 검색 및 추론

초록

비디오 코퍼스의 규모와 작업 복잡성이 계속해서 증가함에 따라, 대규모 코퍼스에서 관련 비디오를 검색(비디오 간 추론)하고, 검색된 콘텐츠 내에서 시간적 근거 찾기(temporal grounding)와 같은 세분화된 질의 조건부 작업(비디오 내 추론)을 수행하는 접근 방식에 대한 수요가 증가하고 있습니다. 그러나 기존 접근 방식은 일반적으로 검색을 전처리 단계로 취급하므로, 초기 검색이 실패할 경우 검색을 개선할 메커니즘이 없어 이후의 세분화된 비디오 내 추론이 실패하게 됩니다. 또한 최근의 에이전트 기반 프레임워크는 비디오 이해를 발전시켰지만, 일반적으로 질의 관련 비디오가 이미 주어져 있다고 가정하고 비디오 내 추론 작업에만 집중합니다. 이러한 한계를 해결하기 위해, 우리는 비디오 검색 엔진과의 다중 턴 상호작용을 통한 반복적 비디오 검색 및 추론을 위한 에이전트 기반 프레임워크인 VideoSearch-R1을 제안합니다. 구체적으로, 우리는 이산적 텍스트 공간에서 질의를 재작성하는 대신 연속적 잠재 공간에서 검색 질의 토큰을 정제하는 소프트 질의 정제(Soft Query Refinement, SQR)를 도입하여 보다 효율적이고 세분화된 조정을 가능하게 합니다. SQR과 그 추론 과정은 검색 및 다운스트림 작업에서 파생된 작업 수준 보상 신호에 의해 안내되는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 사용하여 훈련됩니다. 이를 바탕으로 VideoSearch-R1은 Video Corpus Moment Retrieval(VCMR)의 세 가지 데이터셋에서 최첨단 성능을 달성하며, 대규모 코퍼스에서 반복적으로 비디오를 검색하고, 검색 질의를 정제하며, 검색된 콘텐츠 내에서 정확한 질의 조건부 시간적 근거 찾기를 수행합니다. 우리의 분석에 따르면 SQR은 원래 질의를 효과적으로 정제하며, 명시적 텍스트 수준 질의 정제보다 훨씬 적은 생성 토큰이 필요합니다. 코드와 모델 체크포인트는 mlvlab.github.io/VideoSearch-R1에서 공개적으로 제공됩니다.

English

As video corpora continue to expand in both scale and task complexity, there is increasing demand for approaches that retrieve relevant videos from large-scale corpora (inter-video reasoning) and subsequently perform fine-grained, query-conditioned tasks (intra-video reasoning) within the retrieved content, such as temporal grounding. However, existing approaches typically treat retrieval as a preprocessing step, and consequently, when the initial retrieval fails, there is no mechanism to refine the search, leading to the failure of subsequent fine-grained intra-video reasoning. Moreover, while recent agentic frameworks have advanced video understanding, they typically assume that the query-relevant video is already given, focusing exclusively on intra-video reasoning tasks. To address these limitations, we propose VideoSearch-R1, an agentic framework for iterative video retrieval and reasoning through multi-turn interaction with a video search engine. Specifically, we introduce Soft Query Refinement (SQR) to refine search query tokens in a continuous latent space rather than rewriting queries in the discrete text space, enabling more efficient and fine-grained adjustments. SQR and its reasoning process are trained using Group Relative Policy Optimization (GRPO), guided by task-level reward signals derived from retrieval and downstream tasks. Building upon this, VideoSearch-R1 achieves state-of-the-art performance across three datasets on Video Corpus Moment Retrieval (VCMR), iteratively retrieving videos from large-scale corpora, refining search queries, and performing precise query-conditioned temporal grounding within the retrieved content. Our analyses show that SQR effectively refines the original query, requiring significantly fewer generated tokens than explicit text-level query refinement. Code and model checkpoints are publicly available at mlvlab.github.io/VideoSearch-R1.