AntGPT : Les grands modèles de langage peuvent-ils contribuer à l'anticipation d'actions à long terme à partir de vidéos ?

AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

July 31, 2023

Auteurs: Qi Zhao, Ce Zhang, Shijie Wang, Changcheng Fu, Nakul Agarwal, Kwonjoon Lee, Chen Sun

cs.AI

Résumé

Peut-on mieux anticiper les actions futures d'un acteur (par exemple, mélanger des œufs) en connaissant ce qui se produit couramment après son action actuelle (par exemple, casser des œufs) ? Et si nous connaissons également l'objectif à long terme de l'acteur (par exemple, préparer un riz frit aux œufs) ? La tâche d'anticipation d'actions à long terme (LTA) vise à prédire le comportement futur d'un acteur à partir d'observations vidéo sous forme de séquences de verbes et de noms, et elle est cruciale pour l'interaction homme-machine. Nous proposons de formuler la tâche LTA selon deux perspectives : une approche ascendante (bottom-up) qui prédit les actions suivantes de manière autorégressive en modélisant la dynamique temporelle ; et une approche descendante (top-down) qui infère l'objectif de l'acteur et planifie la procédure nécessaire pour l'atteindre. Nous émettons l'hypothèse que les grands modèles de langage (LLMs), pré-entraînés sur des données textuelles de procédures (par exemple, recettes, tutoriels), ont le potentiel d'aider la LTA sous ces deux angles. Ils peuvent fournir des connaissances préalables sur les actions suivantes possibles et inférer l'objectif à partir de la partie observée d'une procédure. Pour exploiter les LLMs, nous proposons un framework en deux étapes, AntGPT. Il reconnaît d'abord les actions déjà effectuées dans les vidéos observées, puis demande à un LLM de prédire les actions futures via une génération conditionnée, ou d'inférer l'objectif et de planifier l'ensemble de la procédure par un enchaînement de pensées (chain-of-thought prompting). Les résultats empiriques sur les benchmarks Ego4D LTA v1 et v2, EPIC-Kitchens-55, ainsi que EGTEA GAZE+ démontrent l'efficacité de notre approche proposée. AntGPT atteint des performances de pointe sur tous ces benchmarks et parvient à inférer l'objectif, permettant ainsi une prédiction "contrefactuelle" conditionnée par l'objectif via une analyse qualitative. Le code et le modèle seront disponibles à l'adresse suivante : https://brown-palm.github.io/AntGPT.

English

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT