Imparare a fondere articoli didattici con i video attraverso le narrazioni

Learning to Ground Instructional Articles in Videos through Narrations

June 6, 2023

Autori: Effrosyni Mavroudi, Triantafyllos Afouras, Lorenzo Torresani

cs.AI

Abstract

In questo articolo presentiamo un approccio per localizzare temporalmente i passaggi di attività procedurali in video tutorial narrati. Per affrontare la scarsità di dati etichettati su larga scala, ricaviamo le descrizioni dei passaggi da una base di conoscenza linguistica (wikiHow) che contiene articoli didattici per una vasta gamma di compiti procedurali. Senza alcuna forma di supervisione manuale, il nostro modello impara a fondare temporalmente i passaggi degli articoli procedurali nei video tutorial abbinando tre modalità: frame, narrazioni e descrizioni dei passaggi. Nello specifico, il nostro metodo allinea i passaggi ai video fondendo informazioni provenienti da due percorsi distinti: i) allineamento {\em diretto} delle descrizioni dei passaggi ai frame, ii) allineamento {\em indiretto} ottenuto componendo le corrispondenze passaggi-narrazioni con narrazioni-video. È degno di nota che il nostro approccio esegue il fondamento temporale globale di tutti i passaggi di un articolo in una sola volta sfruttando le informazioni sull'ordine, ed è addestrato con pseudo-etichette dei passaggi che vengono iterativamente raffinate e filtrate in modo aggressivo. Per validare il nostro modello, introduciamo un nuovo benchmark di valutazione -- HT-Step -- ottenuto annotando manualmente un sottoinsieme di 124 ore di HowTo100M. Il server di test è accessibile all'indirizzo \url{https://eval.ai/web/challenges/challenge-page/2082.} con passaggi ricavati da articoli di wikiHow. Gli esperimenti su questo benchmark, così come le valutazioni zero-shot su CrossTask, dimostrano che il nostro allineamento multi-modalità produce miglioramenti significativi rispetto a diverse baseline e lavori precedenti. Infine, mostriamo che il nostro modulo interno per l'abbinamento narrazione-video supera di gran lunga lo stato dell'arte sul benchmark di allineamento narrazione-video HTM-Align.

English

In this paper we present an approach for localizing steps of procedural activities in narrated how-to videos. To deal with the scarcity of labeled data at scale, we source the step descriptions from a language knowledge base (wikiHow) containing instructional articles for a large variety of procedural tasks. Without any form of manual supervision, our model learns to temporally ground the steps of procedural articles in how-to videos by matching three modalities: frames, narrations, and step descriptions. Specifically, our method aligns steps to video by fusing information from two distinct pathways: i) {\em direct} alignment of step descriptions to frames, ii) {\em indirect} alignment obtained by composing steps-to-narrations with narrations-to-video correspondences. Notably, our approach performs global temporal grounding of all steps in an article at once by exploiting order information, and is trained with step pseudo-labels which are iteratively refined and aggressively filtered. In order to validate our model we introduce a new evaluation benchmark -- HT-Step -- obtained by manually annotating a 124-hour subset of HowTo100MA test server is accessible at \url{https://eval.ai/web/challenges/challenge-page/2082.} with steps sourced from wikiHow articles. Experiments on this benchmark as well as zero-shot evaluations on CrossTask demonstrate that our multi-modality alignment yields dramatic gains over several baselines and prior works. Finally, we show that our inner module for matching narration-to-video outperforms by a large margin the state of the art on the HTM-Align narration-video alignment benchmark.