AntGPT: Могут ли крупные языковые модели помочь в долгосрочном предсказании действий на основе видео?

AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

July 31, 2023

Авторы: Qi Zhao, Ce Zhang, Shijie Wang, Changcheng Fu, Nakul Agarwal, Kwonjoon Lee, Chen Sun

cs.AI

Аннотация

Можем ли мы лучше предсказать будущие действия человека (например, взбить яйца), зная, что обычно происходит после его/её текущего действия (например, разбить яйца)? А что, если мы также знаем долгосрочную цель человека (например, приготовить жареный рис с яйцом)? Задача долгосрочного предсказания действий (Long-Term Action Anticipation, LTA) направлена на прогнозирование будущего поведения человека на основе видеонаблюдений, представленных в виде последовательностей глаголов и существительных, и она имеет ключевое значение для взаимодействия человека и машины. Мы предлагаем формулировать задачу LTA с двух точек зрения: снизу вверх — подход, который предсказывает следующие действия авторегрессивно, моделируя временную динамику; и сверху вниз — подход, который выводит цель человека и планирует необходимые шаги для её достижения. Мы предполагаем, что большие языковые модели (Large Language Models, LLMs), предварительно обученные на текстовых данных о процедурах (например, рецепты, инструкции), могут помочь в решении задачи LTA с обеих точек зрения. Они могут предоставить априорные знания о возможных следующих действиях, а также вывести цель, учитывая наблюдаемую часть процедуры. Чтобы использовать LLMs, мы предлагаем двухэтапную структуру AntGPT. Сначала она распознаёт действия, уже выполненные в наблюдаемых видео, а затем запрашивает у LLM предсказание будущих действий через условную генерацию или вывод цели и планирование всей процедуры с помощью цепочки рассуждений (chain-of-thought prompting). Эмпирические результаты на бенчмарках Ego4D LTA v1 и v2, EPIC-Kitchens-55, а также EGTEA GAZE+ демонстрируют эффективность нашего подхода. AntGPT достигает наилучших результатов на всех вышеупомянутых бенчмарках и успешно выводит цель, выполняя прогнозирование "контрфактуальных" действий, обусловленных целью, на основе качественного анализа. Код и модель будут доступны по адресу https://brown-palm.github.io/AntGPT.

English

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT