LAVE: ビデオ編集のためのLLM駆動エージェント支援と言語拡張

LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

February 15, 2024

著者: Bryan Wang, Yuliang Li, Zhaoyang Lv, Haijun Xia, Yan Xu, Raj Sodhi

cs.AI

要旨

動画制作はますます人気を集めているが、編集に必要な専門知識と労力は初心者にとって障壁となることが多い。本論文では、これらの障壁を低減するために、大規模言語モデル（LLM）を動画編集ワークフローに統合する方法を探る。私たちの設計ビジョンは、LLMを活用したエージェント支援と言語拡張編集機能を提供する新システム「LAVE」に具現化されている。LAVEは、ユーザーの映像に対して自動的に言語記述を生成し、LLMが動画を処理し編集タスクを支援するための基盤を提供する。ユーザーが編集目標を提供すると、エージェントはそれらを達成するための関連アクションを計画し実行する。さらに、LAVEはユーザーがエージェントを介して、または直接UI操作を通じて動画を編集することを可能にし、柔軟性を提供し、エージェントのアクションを手動で調整することを可能にする。初心者から熟練者までの8名の参加者を対象としたユーザー調査では、LAVEの有効性が実証された。結果はまた、提案されたLLM支援編集パラダイムに対するユーザーの認識と、それがユーザーの創造性と共創感に与える影響についても明らかにした。これらの知見に基づき、エージェント支援コンテンツ編集の将来の開発に役立つ設計の示唆を提案する。

English

Video creation has become increasingly popular, yet the expertise and effort required for editing often pose barriers to beginners. In this paper, we explore the integration of large language models (LLMs) into the video editing workflow to reduce these barriers. Our design vision is embodied in LAVE, a novel system that provides LLM-powered agent assistance and language-augmented editing features. LAVE automatically generates language descriptions for the user's footage, serving as the foundation for enabling the LLM to process videos and assist in editing tasks. When the user provides editing objectives, the agent plans and executes relevant actions to fulfill them. Moreover, LAVE allows users to edit videos through either the agent or direct UI manipulation, providing flexibility and enabling manual refinement of agent actions. Our user study, which included eight participants ranging from novices to proficient editors, demonstrated LAVE's effectiveness. The results also shed light on user perceptions of the proposed LLM-assisted editing paradigm and its impact on users' creativity and sense of co-creation. Based on these findings, we propose design implications to inform the future development of agent-assisted content editing.