MM-VID: Avançando a Compreensão de Vídeo com GPT-4V(isão)
MM-VID: Advancing Video Understanding with GPT-4V(ision)
October 30, 2023
Autores: Kevin Lin, Faisal Ahmed, Linjie Li, Chung-Ching Lin, Ehsan Azarnasab, Zhengyuan Yang, Jianfeng Wang, Lin Liang, Zicheng Liu, Yumao Lu, Ce Liu, Lijuan Wang
cs.AI
Resumo
Apresentamos o MM-VID, um sistema integrado que aproveita as capacidades do GPT-4V, combinadas com ferramentas especializadas em visão, áudio e fala, para facilitar a compreensão avançada de vídeos. O MM-VID foi projetado para enfrentar os desafios impostos por vídeos de longa duração e tarefas complexas, como o raciocínio em conteúdos de uma hora e a compreensão de enredos que abrangem múltiplos episódios. O MM-VID utiliza uma geração de script a partir de vídeo com o GPT-4V para transcrever elementos multimodais em um roteiro textual extenso. O roteiro gerado detalha movimentos, ações, expressões e diálogos dos personagens, abrindo caminho para que modelos de linguagem de grande escala (LLMs) alcancem a compreensão de vídeos. Isso possibilita capacidades avançadas, incluindo descrição de áudio, identificação de personagens e compreensão multimodal de alto nível. Resultados experimentais demonstram a eficácia do MM-VID no tratamento de diferentes gêneros de vídeo com diversas durações. Além disso, destacamos seu potencial quando aplicado a ambientes interativos, como jogos de vídeo e interfaces gráficas de usuário.
English
We present MM-VID, an integrated system that harnesses the capabilities of
GPT-4V, combined with specialized tools in vision, audio, and speech, to
facilitate advanced video understanding. MM-VID is designed to address the
challenges posed by long-form videos and intricate tasks such as reasoning
within hour-long content and grasping storylines spanning multiple episodes.
MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal
elements into a long textual script. The generated script details character
movements, actions, expressions, and dialogues, paving the way for large
language models (LLMs) to achieve video understanding. This enables advanced
capabilities, including audio description, character identification, and
multimodal high-level comprehension. Experimental results demonstrate the
effectiveness of MM-VID in handling distinct video genres with various video
lengths. Additionally, we showcase its potential when applied to interactive
environments, such as video games and graphic user interfaces.