LAVE: Агентская помощь с использованием LLM и языковое расширение для видеомонтажа

LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

February 15, 2024

Авторы: Bryan Wang, Yuliang Li, Zhaoyang Lv, Haijun Xia, Yan Xu, Raj Sodhi

cs.AI

Аннотация

Создание видео становится все более популярным, однако необходимые для редактирования экспертные знания и усилия часто становятся препятствием для новичков. В данной статье мы исследуем интеграцию больших языковых моделей (LLM) в процесс редактирования видео, чтобы снизить эти барьеры. Наше видение дизайна воплощено в системе LAVE, которая предоставляет помощь агентов на основе LLM и функции редактирования, дополненные языковыми возможностями. LAVE автоматически генерирует текстовые описания для видеоматериалов пользователя, что служит основой для обработки видео LLM и оказания помощи в задачах редактирования. Когда пользователь задает цели редактирования, агент планирует и выполняет соответствующие действия для их достижения. Кроме того, LAVE позволяет пользователям редактировать видео как через агента, так и с помощью прямого управления через интерфейс, обеспечивая гибкость и возможность ручной доработки действий агента. Наше исследование с участием восьми пользователей, от новичков до опытных редакторов, продемонстрировало эффективность LAVE. Результаты также пролили свет на восприятие пользователями предложенной парадигмы редактирования с помощью LLM и ее влияние на их творчество и ощущение соавторства. На основе этих выводов мы предлагаем рекомендации по дизайну, которые могут повлиять на будущее развитие систем редактирования контента с помощью агентов.

English

Video creation has become increasingly popular, yet the expertise and effort required for editing often pose barriers to beginners. In this paper, we explore the integration of large language models (LLMs) into the video editing workflow to reduce these barriers. Our design vision is embodied in LAVE, a novel system that provides LLM-powered agent assistance and language-augmented editing features. LAVE automatically generates language descriptions for the user's footage, serving as the foundation for enabling the LLM to process videos and assist in editing tasks. When the user provides editing objectives, the agent plans and executes relevant actions to fulfill them. Moreover, LAVE allows users to edit videos through either the agent or direct UI manipulation, providing flexibility and enabling manual refinement of agent actions. Our user study, which included eight participants ranging from novices to proficient editors, demonstrated LAVE's effectiveness. The results also shed light on user perceptions of the proposed LLM-assisted editing paradigm and its impact on users' creativity and sense of co-creation. Based on these findings, we propose design implications to inform the future development of agent-assisted content editing.