Lernen, Anleitungsartikel durch Erzählungen in Videos zu verankern

Learning to Ground Instructional Articles in Videos through Narrations

June 6, 2023

papers.authors: Effrosyni Mavroudi, Triantafyllos Afouras, Lorenzo Torresani

cs.AI

papers.abstract

In diesem Artikel präsentieren wir einen Ansatz zur Lokalisierung von Schritten prozeduraler Aktivitäten in erzählten How-to-Videos. Um den Mangel an annotierten Daten in großem Maßstab zu bewältigen, beziehen wir die Schrittbeschreibungen aus einer Sprachwissensdatenbank (wikiHow), die Anleitungsartikel für eine Vielzahl prozeduraler Aufgaben enthält. Ohne jegliche Form manueller Überwachung lernt unser Modell, die Schritte prozeduraler Artikel zeitlich in How-to-Videos zu verankern, indem es drei Modalitäten abgleicht: Bilder, Erzählungen und Schrittbeschreibungen. Konkret gleicht unsere Methode Schritte mit Videos ab, indem sie Informationen aus zwei verschiedenen Pfaden fusioniert: i) {\em direkte} Ausrichtung von Schrittbeschreibungen zu Bildern, ii) {\em indirekte} Ausrichtung, die durch die Kombination von Schritten-zu-Erzählungen mit Erzählungen-zu-Video-Korrespondenzen erreicht wird. Bemerkenswerterweise führt unser Ansatz eine globale zeitliche Verankerung aller Schritte eines Artikels gleichzeitig durch, indem er Ordnungsinformationen nutzt, und wird mit Schritt-Pseudo-Labels trainiert, die iterativ verfeinert und aggressiv gefiltert werden. Um unser Modell zu validieren, führen wir einen neuen Evaluierungsbenchmark ein – HT-Step –, der durch manuelle Annotation einer 124-stündigen Teilmenge von HowTo100M erstellt wurde. Der Testserver ist unter \url{https://eval.ai/web/challenges/challenge-page/2082} zugänglich und verwendet Schritte aus wikiHow-Artikeln. Experimente auf diesem Benchmark sowie Zero-Shot-Evaluierungen auf CrossTask zeigen, dass unsere Multi-Modalitäts-Ausrichtung deutliche Verbesserungen gegenüber mehreren Baselines und früheren Arbeiten erzielt. Schließlich zeigen wir, dass unser internes Modul für den Abgleich von Erzählungen mit Videos den Stand der Technik auf dem HTM-Align Erzählung-Video-Ausrichtungsbenchmark deutlich übertrifft.

English

In this paper we present an approach for localizing steps of procedural activities in narrated how-to videos. To deal with the scarcity of labeled data at scale, we source the step descriptions from a language knowledge base (wikiHow) containing instructional articles for a large variety of procedural tasks. Without any form of manual supervision, our model learns to temporally ground the steps of procedural articles in how-to videos by matching three modalities: frames, narrations, and step descriptions. Specifically, our method aligns steps to video by fusing information from two distinct pathways: i) {\em direct} alignment of step descriptions to frames, ii) {\em indirect} alignment obtained by composing steps-to-narrations with narrations-to-video correspondences. Notably, our approach performs global temporal grounding of all steps in an article at once by exploiting order information, and is trained with step pseudo-labels which are iteratively refined and aggressively filtered. In order to validate our model we introduce a new evaluation benchmark -- HT-Step -- obtained by manually annotating a 124-hour subset of HowTo100MA test server is accessible at \url{https://eval.ai/web/challenges/challenge-page/2082.} with steps sourced from wikiHow articles. Experiments on this benchmark as well as zero-shot evaluations on CrossTask demonstrate that our multi-modality alignment yields dramatic gains over several baselines and prior works. Finally, we show that our inner module for matching narration-to-video outperforms by a large margin the state of the art on the HTM-Align narration-video alignment benchmark.