Relatório Técnico do Pegasus-v1
Pegasus-v1 Technical Report
April 23, 2024
Autores: Raehyuk Jung, Hyojun Go, Jaehyuk Yi, Jiho Jang, Daniel Kim, Jay Suh, Aiden Lee, Cooper Han, Jae Lee, Jeff Kim, Jin-Young Kim, Junwan Kim, Kyle Park, Lucas Lee, Mars Ha, Minjoon Seo, Abraham Jo, Ed Park, Hassan Kianinejad, SJ Kim, Tony Moon, Wade Jeong, Andrei Popescu, Esther Kim, EK Yoon, Genie Heo, Henry Choi, Jenna Kang, Kevin Han, Noah Seo, Sunny Nguyen, Ryan Won, Yeonhoo Park, Anthony Giuliani, Dave Chung, Hans Yoon, James Le, Jenny Ahn, June Lee, Maninder Saini, Meredith Sanders, Soyoung Lee, Sue Kim, Travis Couture
cs.AI
Resumo
Este relatório técnico apresenta o Pegasus-1, um modelo de linguagem multimodal especializado na compreensão e interação com conteúdo de vídeo por meio de linguagem natural. O Pegasus-1 foi projetado para enfrentar os desafios únicos apresentados por dados de vídeo, como a interpretação de informações espaço-temporais, a fim de oferecer uma compreensão detalhada de conteúdos de vídeo de diversas durações. Este relatório técnico descreve a arquitetura do Pegasus-1, suas estratégias de treinamento e seu desempenho em benchmarks de conversação em vídeo, questionamento de vídeo em zero-shot e sumarização de vídeo. Também exploramos as características qualitativas do Pegasus-1, demonstrando suas capacidades e limitações, com o objetivo de fornecer aos leitores uma visão equilibrada de seu estado atual e de sua direção futura.
English
This technical report introduces Pegasus-1, a multimodal language model
specialized in video content understanding and interaction through natural
language. Pegasus-1 is designed to address the unique challenges posed by video
data, such as interpreting spatiotemporal information, to offer nuanced video
content comprehension across various lengths. This technical report overviews
Pegasus-1's architecture, training strategies, and its performance in
benchmarks on video conversation, zero-shot video question answering, and video
summarization. We also explore qualitative characteristics of Pegasus-1 ,
demonstrating its capabilities as well as its limitations, in order to provide
readers a balanced view of its current state and its future direction.