LAVE: 비디오 편집을 위한 LLM 기반 에이전트 지원 및 언어 강화

LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

February 15, 2024

저자: Bryan Wang, Yuliang Li, Zhaoyang Lv, Haijun Xia, Yan Xu, Raj Sodhi

cs.AI

초록

비디오 제작이 점점 더 대중화되고 있지만, 편집에 필요한 전문 지식과 노력은 초보자들에게 장벽으로 작용하는 경우가 많습니다. 본 논문에서는 이러한 장벽을 낮추기 위해 대규모 언어 모델(LLM)을 비디오 편집 워크플로우에 통합하는 방법을 탐구합니다. 우리의 디자인 비전은 LAVE라는 새로운 시스템에 구현되었으며, 이 시스템은 LLM 기반 에이전트 지원과 언어 기반 편집 기능을 제공합니다. LAVE는 사용자의 영상에 대한 언어 설명을 자동으로 생성하여, LLM이 비디오를 처리하고 편집 작업을 지원할 수 있는 기반을 마련합니다. 사용자가 편집 목표를 제시하면, 에이전트는 이를 달성하기 위한 관련 작업을 계획하고 실행합니다. 또한 LAVE는 사용자가 에이전트를 통해 또는 직접 UI를 조작하여 비디오를 편집할 수 있도록 하여 유연성을 제공하고, 에이전트 작업을 수동으로 세부 조정할 수 있게 합니다. 초보자부터 숙련된 편집자까지 8명의 참가자를 대상으로 진행한 사용자 연구는 LAVE의 효과성을 입증했습니다. 또한 이 연구 결과는 제안된 LLM 지원 편집 패러다임에 대한 사용자 인식과, 사용자의 창의성 및 공동 창작 감각에 미치는 영향을 밝혀냈습니다. 이러한 발견을 바탕으로, 우리는 에이전트 지원 콘텐츠 편집의 미래 개발을 위한 디자인 시사점을 제안합니다.

English

Video creation has become increasingly popular, yet the expertise and effort required for editing often pose barriers to beginners. In this paper, we explore the integration of large language models (LLMs) into the video editing workflow to reduce these barriers. Our design vision is embodied in LAVE, a novel system that provides LLM-powered agent assistance and language-augmented editing features. LAVE automatically generates language descriptions for the user's footage, serving as the foundation for enabling the LLM to process videos and assist in editing tasks. When the user provides editing objectives, the agent plans and executes relevant actions to fulfill them. Moreover, LAVE allows users to edit videos through either the agent or direct UI manipulation, providing flexibility and enabling manual refinement of agent actions. Our user study, which included eight participants ranging from novices to proficient editors, demonstrated LAVE's effectiveness. The results also shed light on user perceptions of the proposed LLM-assisted editing paradigm and its impact on users' creativity and sense of co-creation. Based on these findings, we propose design implications to inform the future development of agent-assisted content editing.