AntGPT: Modelos de Linguagem de Grande Escala Podem Auxiliar na Antecipação de Ações de Longo Prazo em Vídeos?

AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

July 31, 2023

Autores: Qi Zhao, Ce Zhang, Shijie Wang, Changcheng Fu, Nakul Agarwal, Kwonjoon Lee, Chen Sun

cs.AI

Resumo

Podemos antecipar melhor as ações futuras de um ator (por exemplo, misturar ovos) sabendo o que geralmente acontece após sua ação atual (por exemplo, quebrar ovos)? E se também conhecermos o objetivo de longo prazo do ator (por exemplo, fazer arroz frito com ovo)? A tarefa de antecipação de ações de longo prazo (LTA, na sigla em inglês) visa prever o comportamento futuro de um ator a partir de observações em vídeo, na forma de sequências de verbos e substantivos, e é crucial para a interação humano-máquina. Propomos formular a tarefa LTA a partir de duas perspectivas: uma abordagem bottom-up que prevê as próximas ações de forma autoregressiva, modelando a dinâmica temporal; e uma abordagem top-down que infere o objetivo do ator e planeja o procedimento necessário para alcançá-lo. Nossa hipótese é que os grandes modelos de linguagem (LLMs, na sigla em inglês), pré-treinados em dados textuais de procedimentos (por exemplo, receitas, tutoriais), têm o potencial de auxiliar a LTA em ambas as perspectivas. Eles podem fornecer o conhecimento prévio sobre as possíveis próximas ações e inferir o objetivo com base na parte observada de um procedimento, respectivamente. Para aproveitar os LLMs, propomos uma estrutura de duas etapas, o AntGPT. Primeiro, ele reconhece as ações já realizadas nos vídeos observados e, em seguida, solicita a um LLM que preveja as ações futuras por meio de geração condicionada ou que infira o objetivo e planeje todo o procedimento por meio de prompts de cadeia de pensamento. Resultados empíricos nos benchmarks Ego4D LTA v1 e v2, EPIC-Kitchens-55 e EGTEA GAZE+ demonstram a eficácia de nossa abordagem proposta. O AntGPT alcança desempenho de ponta em todos os benchmarks mencionados e consegue inferir com sucesso o objetivo, realizando assim previsões "contrafactuais" condicionadas ao objetivo por meio de análise qualitativa. O código e o modelo serão disponibilizados em https://brown-palm.github.io/AntGPT.

English

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT