Pegasus-v1 Technischer Bericht

Pegasus-v1 Technical Report

April 23, 2024

Autoren: Raehyuk Jung, Hyojun Go, Jaehyuk Yi, Jiho Jang, Daniel Kim, Jay Suh, Aiden Lee, Cooper Han, Jae Lee, Jeff Kim, Jin-Young Kim, Junwan Kim, Kyle Park, Lucas Lee, Mars Ha, Minjoon Seo, Abraham Jo, Ed Park, Hassan Kianinejad, SJ Kim, Tony Moon, Wade Jeong, Andrei Popescu, Esther Kim, EK Yoon, Genie Heo, Henry Choi, Jenna Kang, Kevin Han, Noah Seo, Sunny Nguyen, Ryan Won, Yeonhoo Park, Anthony Giuliani, Dave Chung, Hans Yoon, James Le, Jenny Ahn, June Lee, Maninder Saini, Meredith Sanders, Soyoung Lee, Sue Kim, Travis Couture

cs.AI

Zusammenfassung

Dieser technische Bericht stellt Pegasus-1 vor, ein multimodales Sprachmodell, das auf das Verstehen von Videoinhalten und die Interaktion durch natürliche Sprache spezialisiert ist. Pegasus-1 wurde entwickelt, um die einzigartigen Herausforderungen von Videodaten zu bewältigen, wie die Interpretation von raumzeitlichen Informationen, um eine differenzierte Videoinhaltserfassung über verschiedene Längen hinweg zu bieten. Dieser technische Bericht gibt einen Überblick über die Architektur von Pegasus-1, Trainingsstrategien und seine Leistung in Benchmarks zu Video-Konversation, Zero-Shot-Video-Fragenbeantwortung und Videozusammenfassung. Wir untersuchen auch qualitative Merkmale von Pegasus-1, um seine Fähigkeiten sowie seine Einschränkungen aufzuzeigen und den Lesern einen ausgewogenen Einblick in seinen aktuellen Stand und seine zukünftige Ausrichtung zu bieten.

English

This technical report introduces Pegasus-1, a multimodal language model specialized in video content understanding and interaction through natural language. Pegasus-1 is designed to address the unique challenges posed by video data, such as interpreting spatiotemporal information, to offer nuanced video content comprehension across various lengths. This technical report overviews Pegasus-1's architecture, training strategies, and its performance in benchmarks on video conversation, zero-shot video question answering, and video summarization. We also explore qualitative characteristics of Pegasus-1 , demonstrating its capabilities as well as its limitations, in order to provide readers a balanced view of its current state and its future direction.