AntGPT: ¿Pueden los modelos de lenguaje de gran escala ayudar en la anticipación de acciones a largo plazo a partir de videos?

AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

July 31, 2023

Autores: Qi Zhao, Ce Zhang, Shijie Wang, Changcheng Fu, Nakul Agarwal, Kwonjoon Lee, Chen Sun

cs.AI

Resumen

¿Podemos anticipar mejor las acciones futuras de un actor (por ejemplo, batir huevos) conociendo lo que comúnmente sucede después de su acción actual (por ejemplo, cascar huevos)? ¿Y si también conocemos el objetivo a largo plazo del actor (por ejemplo, hacer arroz frito con huevo)? La tarea de anticipación de acciones a largo plazo (LTA, por sus siglas en inglés) tiene como objetivo predecir el comportamiento futuro de un actor a partir de observaciones en video en forma de secuencias de verbos y sustantivos, y es crucial para la interacción humano-máquina. Proponemos formular la tarea LTA desde dos perspectivas: un enfoque ascendente (bottom-up) que predice las siguientes acciones de manera autoregresiva modelando la dinámica temporal; y un enfoque descendente (top-down) que infiere el objetivo del actor y planifica el procedimiento necesario para alcanzarlo. Planteamos la hipótesis de que los modelos de lenguaje grandes (LLMs, por sus siglas en inglés), que han sido preentrenados con datos de texto procedimental (por ejemplo, recetas, tutoriales), tienen el potencial de ayudar en la LTA desde ambas perspectivas. Pueden proporcionar el conocimiento previo sobre las posibles acciones siguientes e inferir el objetivo dada la parte observada de un procedimiento, respectivamente. Para aprovechar los LLMs, proponemos un marco de trabajo de dos etapas, AntGPT. Primero, reconoce las acciones ya realizadas en los videos observados y luego solicita a un LLM que prediga las acciones futuras mediante generación condicionada, o que infiera el objetivo y planifique todo el procedimiento mediante el método de cadena de pensamiento (chain-of-thought prompting). Los resultados empíricos en los benchmarks Ego4D LTA v1 y v2, EPIC-Kitchens-55, así como EGTEA GAZE+, demuestran la efectividad de nuestro enfoque propuesto. AntGPT logra un rendimiento de vanguardia en todos los benchmarks mencionados y puede inferir con éxito el objetivo, realizando así predicciones "contrafactuales" condicionadas al objetivo mediante análisis cualitativo. El código y el modelo estarán disponibles en https://brown-palm.github.io/AntGPT.

English

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT