Technisch Rapport Pegasus-v1
Pegasus-v1 Technical Report
April 23, 2024
Auteurs: Raehyuk Jung, Hyojun Go, Jaehyuk Yi, Jiho Jang, Daniel Kim, Jay Suh, Aiden Lee, Cooper Han, Jae Lee, Jeff Kim, Jin-Young Kim, Junwan Kim, Kyle Park, Lucas Lee, Mars Ha, Minjoon Seo, Abraham Jo, Ed Park, Hassan Kianinejad, SJ Kim, Tony Moon, Wade Jeong, Andrei Popescu, Esther Kim, EK Yoon, Genie Heo, Henry Choi, Jenna Kang, Kevin Han, Noah Seo, Sunny Nguyen, Ryan Won, Yeonhoo Park, Anthony Giuliani, Dave Chung, Hans Yoon, James Le, Jenny Ahn, June Lee, Maninder Saini, Meredith Sanders, Soyoung Lee, Sue Kim, Travis Couture
cs.AI
Samenvatting
Dit technische rapport introduceert Pegasus-1, een multimodaal taalmodel gespecialiseerd in het begrijpen van en interactie met videocontent via natuurlijke taal. Pegasus-1 is ontworpen om de unieke uitdagingen aan te pakken die videodata met zich meebrengen, zoals het interpreteren van spatiotemporele informatie, om zo een genuanceerd begrip van videocontent te bieden over verschillende lengtes heen. Dit technische rapport geeft een overzicht van de architectuur van Pegasus-1, de trainingsstrategieën en de prestaties in benchmarks op het gebied van videoconversatie, zero-shot video-vraagbeantwoording en videosamenvatting. We onderzoeken ook de kwalitatieve kenmerken van Pegasus-1, waarbij we zowel de mogelijkheden als de beperkingen demonstreren, om lezers een evenwichtig beeld te geven van de huidige staat en de toekomstige richting van het model.
English
This technical report introduces Pegasus-1, a multimodal language model
specialized in video content understanding and interaction through natural
language. Pegasus-1 is designed to address the unique challenges posed by video
data, such as interpreting spatiotemporal information, to offer nuanced video
content comprehension across various lengths. This technical report overviews
Pegasus-1's architecture, training strategies, and its performance in
benchmarks on video conversation, zero-shot video question answering, and video
summarization. We also explore qualitative characteristics of Pegasus-1 ,
demonstrating its capabilities as well as its limitations, in order to provide
readers a balanced view of its current state and its future direction.