VideoSearch-R1: Итеративный поиск видео и рассуждение с помощью мягкого уточнения запроса

Аннотация

По мере того как видеокорпуса продолжают расширяться как по масштабу, так и по сложности задач, возрастает потребность в подходах, позволяющих извлекать релевантные видео из крупномасштабных корпусов (рассуждение между видео) и затем выполнять тонкую, обусловленную запросом обработку внутри извлечённого контента (рассуждение внутри видео), например, временную привязку. Однако существующие подходы, как правило, рассматривают извлечение как этап предварительной обработки, и поэтому при неудаче начального поиска отсутствует механизм его уточнения, что приводит к сбою последующего детального рассуждения внутри видео. Кроме того, хотя недавние агентные фреймворки продвинули понимание видео, они обычно предполагают, что релевантное запросу видео уже задано, и сосредотачиваются исключительно на задачах рассуждения внутри видео. Для преодоления этих ограничений мы предлагаем VideoSearch-R1 — агентный фреймворк для итеративного поиска и анализа видео через многократное взаимодействие с поисковой системой видео. В частности, мы вводим мягкое уточнение запроса (SQR), которое позволяет уточнять токены поискового запроса в непрерывном латентном пространстве, а не переписывать запросы в дискретном текстовом пространстве, обеспечивая более эффективные и точные настройки. SQR и процесс его рассуждения обучаются с помощью оптимизации политики на основе относительных групп (GRPO), направляемой сигналами вознаграждения на уровне задачи, получаемыми из задач поиска и последующей обработки. На этой основе VideoSearch-R1 достигает передовых результатов на трёх наборах данных по задаче поиска моментов в корпусе видео (VCMR), итеративно извлекая видео из крупномасштабных корпусов, уточняя поисковые запросы и выполняя точную временную привязку внутри извлечённого контента. Наш анализ показывает, что SQR эффективно уточняет исходный запрос, требуя значительно меньше сгенерированных токенов, чем явное текстовое уточнение запроса. Код и контрольные точки модели доступны публично по адресу mlvlab.github.io/VideoSearch-R1.

English

As video corpora continue to expand in both scale and task complexity, there is increasing demand for approaches that retrieve relevant videos from large-scale corpora (inter-video reasoning) and subsequently perform fine-grained, query-conditioned tasks (intra-video reasoning) within the retrieved content, such as temporal grounding. However, existing approaches typically treat retrieval as a preprocessing step, and consequently, when the initial retrieval fails, there is no mechanism to refine the search, leading to the failure of subsequent fine-grained intra-video reasoning. Moreover, while recent agentic frameworks have advanced video understanding, they typically assume that the query-relevant video is already given, focusing exclusively on intra-video reasoning tasks. To address these limitations, we propose VideoSearch-R1, an agentic framework for iterative video retrieval and reasoning through multi-turn interaction with a video search engine. Specifically, we introduce Soft Query Refinement (SQR) to refine search query tokens in a continuous latent space rather than rewriting queries in the discrete text space, enabling more efficient and fine-grained adjustments. SQR and its reasoning process are trained using Group Relative Policy Optimization (GRPO), guided by task-level reward signals derived from retrieval and downstream tasks. Building upon this, VideoSearch-R1 achieves state-of-the-art performance across three datasets on Video Corpus Moment Retrieval (VCMR), iteratively retrieving videos from large-scale corpora, refining search queries, and performing precise query-conditioned temporal grounding within the retrieved content. Our analyses show that SQR effectively refines the original query, requiring significantly fewer generated tokens than explicit text-level query refinement. Code and model checkpoints are publicly available at mlvlab.github.io/VideoSearch-R1.