LAVE: LLM-gestützte Agentenunterstützung und Sprachverbesserung für die Videobearbeitung

LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

February 15, 2024

Autoren: Bryan Wang, Yuliang Li, Zhaoyang Lv, Haijun Xia, Yan Xu, Raj Sodhi

cs.AI

Zusammenfassung

Die Erstellung von Videos hat zunehmend an Popularität gewonnen, doch das erforderliche Fachwissen und der Aufwand für die Bearbeitung stellen oft Hürden für Anfänger dar. In diesem Artikel untersuchen wir die Integration von großen Sprachmodellen (LLMs) in den Videobearbeitungsprozess, um diese Barrieren zu verringern. Unsere Designvision wird durch LAVE verkörpert, ein neuartiges System, das LLM-gestützte Agentenunterstützung und sprachbasierte Bearbeitungsfunktionen bietet. LAVE generiert automatisch Sprachbeschreibungen für das Filmmaterial des Benutzers, die als Grundlage dienen, um das LLM zur Verarbeitung von Videos und zur Unterstützung bei Bearbeitungsaufgaben zu befähigen. Wenn der Benutzer Bearbeitungsziele vorgibt, plant und führt der Agent relevante Aktionen aus, um diese zu erfüllen. Darüber hinaus ermöglicht LAVE den Benutzern, Videos entweder über den Agenten oder durch direkte UI-Manipulation zu bearbeiten, was Flexibilität bietet und die manuelle Verfeinerung von Agentenaktionen ermöglicht. Unsere Nutzerstudie mit acht Teilnehmern, die von Anfängern bis hin zu erfahrenen Editoren reichten, demonstrierte die Wirksamkeit von LAVE. Die Ergebnisse geben auch Aufschluss über die Wahrnehmung der Benutzer hinsichtlich des vorgeschlagenen LLM-gestützten Bearbeitungsparadigmas und dessen Auswirkungen auf die Kreativität und das Gefühl der Mitgestaltung der Benutzer. Basierend auf diesen Erkenntnissen schlagen wir Designimplikationen vor, um die zukünftige Entwicklung von agentengestützter Inhaltsbearbeitung zu informieren.

English

Video creation has become increasingly popular, yet the expertise and effort required for editing often pose barriers to beginners. In this paper, we explore the integration of large language models (LLMs) into the video editing workflow to reduce these barriers. Our design vision is embodied in LAVE, a novel system that provides LLM-powered agent assistance and language-augmented editing features. LAVE automatically generates language descriptions for the user's footage, serving as the foundation for enabling the LLM to process videos and assist in editing tasks. When the user provides editing objectives, the agent plans and executes relevant actions to fulfill them. Moreover, LAVE allows users to edit videos through either the agent or direct UI manipulation, providing flexibility and enabling manual refinement of agent actions. Our user study, which included eight participants ranging from novices to proficient editors, demonstrated LAVE's effectiveness. The results also shed light on user perceptions of the proposed LLM-assisted editing paradigm and its impact on users' creativity and sense of co-creation. Based on these findings, we propose design implications to inform the future development of agent-assisted content editing.