내레이션을 통해 비디오에 지침 문서를 연결하는 학습

초록

본 논문에서는 나레이션이 포함된 하우투(how-to) 비디오에서 절차적 활동의 단계를 지역화하는 접근 방식을 제시한다. 대규모로 레이블이 지정된 데이터의 부족 문제를 해결하기 위해, 우리는 다양한 절차적 작업에 대한 설명이 담긴 언어 지식 베이스(wikiHow)에서 단계 설명을 가져온다. 어떠한 형태의 수동 감독도 없이, 우리의 모델은 프레임, 나레이션, 단계 설명이라는 세 가지 양식을 매칭함으로써 하우투 비디오 내 절차적 글의 단계를 시간적으로 정착(grounding)하는 방법을 학습한다. 구체적으로, 우리의 방법은 두 가지 독립적인 경로에서 얻은 정보를 융합하여 단계를 비디오에 정렬한다: i) 단계 설명을 프레임에 직접 정렬하는 방식, ii) 단계-나레이션과 나레이션-비디오 간의 대응 관계를 조합하여 얻은 간접 정렬 방식. 특히, 우리의 접근 방식은 순서 정보를 활용하여 글의 모든 단계를 한 번에 전역적으로 시간 정착하며, 반복적으로 개선되고 엄격하게 필터링된 단계 의사 레이블(pseudo-labels)로 학습된다. 모델의 성능을 검증하기 위해, 우리는 새로운 평가 벤치마크인 HT-Step을 도입한다. 이 벤치마크는 HowTo100M 데이터셋의 124시간 분량을 수동으로 주석 처리하여 wikiHow 글에서 가져온 단계로 구성되었다. 이 벤치마크에 대한 실험과 CrossTask에서의 제로샷(zero-shot) 평가를 통해, 우리의 다중 양식 정렬 방식이 여러 베이스라인 및 기존 연구 대비 극적인 성능 향상을 가져옴을 입증한다. 마지막으로, 우리의 나레이션-비디오 매칭을 위한 내부 모듈이 HTM-Align 나레이션-비디오 정렬 벤치마크에서 최신 기술을 크게 능가함을 보여준다.

English

In this paper we present an approach for localizing steps of procedural activities in narrated how-to videos. To deal with the scarcity of labeled data at scale, we source the step descriptions from a language knowledge base (wikiHow) containing instructional articles for a large variety of procedural tasks. Without any form of manual supervision, our model learns to temporally ground the steps of procedural articles in how-to videos by matching three modalities: frames, narrations, and step descriptions. Specifically, our method aligns steps to video by fusing information from two distinct pathways: i) {\em direct} alignment of step descriptions to frames, ii) {\em indirect} alignment obtained by composing steps-to-narrations with narrations-to-video correspondences. Notably, our approach performs global temporal grounding of all steps in an article at once by exploiting order information, and is trained with step pseudo-labels which are iteratively refined and aggressively filtered. In order to validate our model we introduce a new evaluation benchmark -- HT-Step -- obtained by manually annotating a 124-hour subset of HowTo100MA test server is accessible at \url{https://eval.ai/web/challenges/challenge-page/2082.} with steps sourced from wikiHow articles. Experiments on this benchmark as well as zero-shot evaluations on CrossTask demonstrate that our multi-modality alignment yields dramatic gains over several baselines and prior works. Finally, we show that our inner module for matching narration-to-video outperforms by a large margin the state of the art on the HTM-Align narration-video alignment benchmark.

내레이션을 통해 비디오에 지침 문서를 연결하는 학습

Learning to Ground Instructional Articles in Videos through Narrations

초록

Support