AntGPT: Kunnen grote taalmodelen helpen bij het anticiperen op langetermijnacties vanuit video's?

AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

July 31, 2023

Auteurs: Qi Zhao, Ce Zhang, Shijie Wang, Changcheng Fu, Nakul Agarwal, Kwonjoon Lee, Chen Sun

cs.AI

Samenvatting

Kunnen we de toekomstige acties van een acteur (bijvoorbeeld eieren mengen) beter voorspellen door te weten wat er gewoonlijk gebeurt na zijn/haar huidige actie (bijvoorbeeld eieren breken)? Wat als we ook het langetermijndoel van de acteur kennen (bijvoorbeeld gebakken eierrijst maken)? De taak van langetermijnactievoorspelling (LTA) heeft als doel het toekomstige gedrag van een acteur te voorspellen op basis van videoobservaties in de vorm van werkwoord- en zelfstandig naamwoordreeksen, en het is cruciaal voor mens-machine-interactie. Wij stellen voor om de LTA-taak vanuit twee perspectieven te formuleren: een bottom-up benadering die de volgende acties autoregressief voorspelt door temporele dynamiek te modelleren; en een top-down benadering die het doel van de acteur afleidt en het benodigde proces plant om het doel te bereiken. Wij veronderstellen dat grote taalmodelen (LLMs), die zijn voorgetraind op procedurele tekstgegevens (bijvoorbeeld recepten, handleidingen), het potentieel hebben om LTA vanuit beide perspectieven te ondersteunen. Het kan helpen bij het verschaffen van voorkennis over de mogelijke volgende acties, en respectievelijk het doel afleiden gegeven het waargenomen deel van een procedure. Om de LLMs te benutten, stellen we een tweestappenframework voor, AntGPT. Het herkent eerst de acties die al zijn uitgevoerd in de waargenomen video's en vraagt vervolgens een LLM om de toekomstige acties te voorspellen via geconditioneerde generatie, of om het doel af te leiden en het hele proces te plannen door middel van chain-of-thought prompting. Empirische resultaten op de Ego4D LTA v1 en v2 benchmarks, EPIC-Kitchens-55, evenals EGTEA GAZE+ demonstreren de effectiviteit van onze voorgestelde aanpak. AntGPT behaalt state-of-the-art prestaties op alle bovenstaande benchmarks, en kan met succes het doel afleiden en zo doel-geconditioneerde "tegenfeitelijke" voorspellingen uitvoeren via kwalitatieve analyse. Code en model zullen worden vrijgegeven op https://brown-palm.github.io/AntGPT.

English

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT