LLaVAction: avaliação e treinamento de modelos de linguagem grandes multimodais para reconhecimento de ações

LLaVAction: evaluating and training multi-modal large language models for action recognition

March 24, 2025

Autores: Shaokai Ye, Haozhe Qi, Alexander Mathis, Mackenzie W. Mathis

cs.AI

Resumo

Compreender o comportamento humano requer a medição de ações comportamentais. Devido à sua complexidade, o comportamento é melhor mapeado em uma estrutura semântica rica, como a linguagem. O desenvolvimento recente de modelos de linguagem multimodal de grande escala (MLLMs) é um candidato promissor para uma ampla gama de tarefas de compreensão de ações. Neste trabalho, focamos em avaliar e, em seguida, melhorar os MLLMs para realizar o reconhecimento de ações. Reformulamos o EPIC-KITCHENS-100, um dos maiores e mais desafiadores conjuntos de dados de ações egocêntricas, para a forma de múltiplas questões e respostas em vídeo (EPIC-KITCHENS-100-MQA). Mostramos que, ao amostrar respostas incorretas difíceis como distratores, os principais MLLMs têm dificuldade em reconhecer as ações corretas. Propomos uma série de métodos que melhoram significativamente a capacidade dos MLLMs de realizar o reconhecimento de ações, alcançando o estado da arte tanto no conjunto de validação do EPIC-KITCHENS-100 quanto superando o GPT-4o em 21 pontos de precisão no EPIC-KITCHENS-100-MQA. Por fim, mostramos melhorias em outros benchmarks de vídeo relacionados a ações, como EgoSchema, PerceptionTest, LongVideoBench, VideoMME e MVBench, sugerindo que os MLLMs são um caminho promissor para tarefas complexas de ação. Códigos e modelos estão disponíveis em: https://github.com/AdaptiveMotorControlLab/LLaVAction.

English

Understanding human behavior requires measuring behavioral actions. Due to its complexity, behavior is best mapped onto a rich, semantic structure such as language. The recent development of multi-modal large language models (MLLMs) is a promising candidate for a wide range of action understanding tasks. In this work, we focus on evaluating and then improving MLLMs to perform action recognition. We reformulate EPIC-KITCHENS-100, one of the largest and most challenging egocentric action datasets, to the form of video multiple question answering (EPIC-KITCHENS-100-MQA). We show that when we sample difficult incorrect answers as distractors, leading MLLMs struggle to recognize the correct actions. We propose a series of methods that greatly improve the MLLMs' ability to perform action recognition, achieving state-of-the-art on both the EPIC-KITCHENS-100 validation set, as well as outperforming GPT-4o by 21 points in accuracy on EPIC-KITCHENS-100-MQA. Lastly, we show improvements on other action-related video benchmarks such as EgoSchema, PerceptionTest, LongVideoBench, VideoMME and MVBench, suggesting that MLLMs are a promising path forward for complex action tasks. Code and models are available at: https://github.com/AdaptiveMotorControlLab/LLaVAction.