SALOVA: Segment-erweiterter langer Videoassistent für gezielte Abfrage und Routing in der Analyse von Langvideos

SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis

November 25, 2024

Autoren: Junho Kim, Hyunjun Kim, Hosu Lee, Yong Man Ro

cs.AI

Zusammenfassung

Trotz Fortschritten bei großen multimodalen Modellen bleibt die Anwendung auf lange und ungeschnittene Videoinhalte aufgrund von Beschränkungen in Bezug auf Kontextlänge und erheblichen Speicherüberlastungen eine Herausforderung. Diese Einschränkungen führen häufig zu erheblichem Informationsverlust und reduzierter Relevanz in den Modellantworten. Mit dem exponentiellen Wachstum von Videodaten auf Webplattformen ist das Verständnis von Langformvideos entscheidend für die Weiterentwicklung der generalisierten Intelligenz. In diesem Artikel stellen wir SALOVA vor: Segment-augmentierter langer Videoassistent, ein neuartiges Video-LLM-Framework, das entwickelt wurde, um das Verständnis von umfangreichen Videoinhalten durch gezielte Abrufprozesse zu verbessern. Wir gehen auf zwei Hauptprobleme ein, um dies zu erreichen: (i) Wir präsentieren den SceneWalk-Datensatz, eine hochwertige Sammlung von 87,8K langen Videos, die jeweils dicht auf Segmentebene beschriftet sind, um es Modellen zu ermöglichen, Szenenkontinuität zu erfassen und einen reichen beschreibenden Kontext aufrechtzuerhalten. (ii) Wir entwickeln robuste architektonische Designs, die einen dynamischen Routing-Mechanismus und einen raumzeitlichen Projektor integrieren, um relevante Videosegmente effizient abzurufen und zu verarbeiten, basierend auf Benutzeranfragen. Unser Framework mildert die Einschränkungen aktueller Video-LLMs, indem es eine präzise Identifizierung und Abruf relevanter Videosegmente als Antwort auf Anfragen ermöglicht und somit die kontextuelle Relevanz der generierten Antworten verbessert. Durch umfangreiche Experimente zeigt SALOVA eine verbesserte Fähigkeit zur Verarbeitung komplexer Langformvideos und zeigt eine signifikante Fähigkeit, die kontextuelle Integrität über erweiterte Sequenzen aufrechtzuerhalten.

English

Despite advances in Large Multi-modal Models, applying them to long and untrimmed video content remains challenging due to limitations in context length and substantial memory overhead. These constraints often lead to significant information loss and reduced relevance in the model responses. With the exponential growth of video data across web platforms, understanding long-form video is crucial for advancing generalized intelligence. In this paper, we introduce SALOVA: Segment-Augmented LOng Video Assistant, a novel video-LLM framework designed to enhance the comprehension of lengthy video content through targeted retrieval process. We address two main challenges to achieve it: (i) We present the SceneWalk dataset, a high-quality collection of 87.8K long videos, each densely captioned at the segment level to enable models to capture scene continuity and maintain rich descriptive context. (ii) We develop robust architectural designs integrating dynamic routing mechanism and spatio-temporal projector to efficiently retrieve and process relevant video segments based on user queries. Our framework mitigates the limitations of current video-LMMs by allowing for precise identification and retrieval of relevant video segments in response to queries, thereby improving the contextual relevance of the generated responses. Through extensive experiments, SALOVA demonstrates enhanced capability in processing complex long-form videos, showing significant capability to maintain contextual integrity across extended sequences.