Apprendre à ancrer des articles d'instructions dans des vidéos grâce aux narrations

Learning to Ground Instructional Articles in Videos through Narrations

June 6, 2023

Auteurs: Effrosyni Mavroudi, Triantafyllos Afouras, Lorenzo Torresani

cs.AI

Résumé

Dans cet article, nous présentons une approche pour localiser les étapes d'activités procédurales dans des vidéos explicatives narrées. Pour pallier la rareté des données annotées à grande échelle, nous extrayons les descriptions des étapes à partir d'une base de connaissances linguistique (wikiHow) contenant des articles pédagogiques pour une grande variété de tâches procédurales. Sans aucune supervision manuelle, notre modèle apprend à ancrer temporellement les étapes des articles procéduraux dans les vidéos explicatives en faisant correspondre trois modalités : les images, les narrations et les descriptions des étapes. Plus précisément, notre méthode aligne les étapes aux vidéos en fusionnant les informations provenant de deux voies distinctes : i) un alignement {\em direct} des descriptions des étapes aux images, ii) un alignement {\em indirect} obtenu en combinant les correspondances étapes-narrations avec les correspondances narrations-vidéo. Notamment, notre approche effectue un ancrage temporel global de toutes les étapes d'un article en une seule fois en exploitant les informations d'ordre, et est entraînée avec des pseudo-labels d'étapes qui sont itérativement affinés et agressivement filtrés. Pour valider notre modèle, nous introduisons un nouveau benchmark d'évaluation -- HT-Step -- obtenu en annotant manuellement un sous-ensemble de 124 heures de HowTo100M. Le serveur de test est accessible à l'adresse \url{https://eval.ai/web/challenges/challenge-page/2082.} avec des étapes issues d'articles de wikiHow. Les expériences sur ce benchmark ainsi que les évaluations en zero-shot sur CrossTask démontrent que notre alignement multi-modal apporte des gains significatifs par rapport à plusieurs baselines et travaux antérieurs. Enfin, nous montrons que notre module interne pour l'appariement narration-vidéo surpasse de manière significative l'état de l'art sur le benchmark d'alignement narration-vidéo HTM-Align.

English

In this paper we present an approach for localizing steps of procedural activities in narrated how-to videos. To deal with the scarcity of labeled data at scale, we source the step descriptions from a language knowledge base (wikiHow) containing instructional articles for a large variety of procedural tasks. Without any form of manual supervision, our model learns to temporally ground the steps of procedural articles in how-to videos by matching three modalities: frames, narrations, and step descriptions. Specifically, our method aligns steps to video by fusing information from two distinct pathways: i) {\em direct} alignment of step descriptions to frames, ii) {\em indirect} alignment obtained by composing steps-to-narrations with narrations-to-video correspondences. Notably, our approach performs global temporal grounding of all steps in an article at once by exploiting order information, and is trained with step pseudo-labels which are iteratively refined and aggressively filtered. In order to validate our model we introduce a new evaluation benchmark -- HT-Step -- obtained by manually annotating a 124-hour subset of HowTo100MA test server is accessible at \url{https://eval.ai/web/challenges/challenge-page/2082.} with steps sourced from wikiHow articles. Experiments on this benchmark as well as zero-shot evaluations on CrossTask demonstrate that our multi-modality alignment yields dramatic gains over several baselines and prior works. Finally, we show that our inner module for matching narration-to-video outperforms by a large margin the state of the art on the HTM-Align narration-video alignment benchmark.