AntGPT: Können große Sprachmodelle bei der langfristigen Handlungsantizipation aus Videos helfen?

AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

July 31, 2023

Autoren: Qi Zhao, Ce Zhang, Shijie Wang, Changcheng Fu, Nakul Agarwal, Kwonjoon Lee, Chen Sun

cs.AI

Zusammenfassung

Können wir die zukünftigen Handlungen eines Akteurs (z.B. Eier verquirlen) besser vorhersagen, indem wir wissen, was üblicherweise auf seine/ihre aktuelle Handlung folgt (z.B. Eier aufschlagen)? Was, wenn wir auch das langfristige Ziel des Akteurs kennen (z.B. gebratenen Eierreis zubereiten)? Die Aufgabe der langfristigen Handlungsvorhersage (Long-Term Action Anticipation, LTA) zielt darauf ab, das zukünftige Verhalten eines Akteurs aus Videoaufnahmen in Form von Verb- und Substantivsequenzen vorherzusagen, und sie ist entscheidend für die Mensch-Maschine-Interaktion. Wir schlagen vor, die LTA-Aufgabe aus zwei Perspektiven zu formulieren: einen Bottom-up-Ansatz, der die nächsten Handlungen autoregressiv vorhersagt, indem er zeitliche Dynamiken modelliert; und einen Top-down-Ansatz, der das Ziel des Akteurs ableitet und den benötigten Ablauf zur Erreichung des Ziels plant. Wir stellen die Hypothese auf, dass große Sprachmodelle (Large Language Models, LLMs), die auf Verfahrenstextdaten (z.B. Rezepte, Anleitungen) vortrainiert wurden, das Potenzial haben, die LTA aus beiden Perspektiven zu unterstützen. Sie können sowohl das Vorwissen über mögliche nächste Handlungen liefern als auch das Ziel anhand des beobachteten Teils eines Verfahrens ableiten. Um die LLMs zu nutzen, schlagen wir ein zweistufiges Framework, AntGPT, vor. Es erkennt zunächst die bereits durchgeführten Handlungen in den beobachteten Videos und fordert dann ein LLM auf, die zukünftigen Handlungen durch bedingte Generierung vorherzusagen oder das Ziel abzuleiten und den gesamten Ablauf durch Chain-of-Thought-Prompting zu planen. Empirische Ergebnisse auf den Ego4D LTA v1- und v2-Benchmarks, EPIC-Kitchens-55 sowie EGTEA GAZE+ demonstrieren die Effektivität unseres vorgeschlagenen Ansatzes. AntGPT erreicht state-of-the-art Leistungen auf allen oben genannten Benchmarks und kann das Ziel erfolgreich ableiten und somit zielbedingte „kontrafaktische“ Vorhersagen durch qualitative Analysen treffen. Code und Modelle werden unter https://brown-palm.github.io/AntGPT veröffentlicht.

English

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT