LAVE: Assistência de Agente com LLM e Aprimoramento de Linguagem para Edição de Vídeo

LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

February 15, 2024

Autores: Bryan Wang, Yuliang Li, Zhaoyang Lv, Haijun Xia, Yan Xu, Raj Sodhi

cs.AI

Resumo

A criação de vídeos tem se tornado cada vez mais popular, mas a expertise e o esforço necessários para a edição frequentemente representam barreiras para iniciantes. Neste artigo, exploramos a integração de modelos de linguagem de grande escala (LLMs) no fluxo de trabalho de edição de vídeos para reduzir essas barreiras. Nossa visão de design é materializada no LAVE, um sistema inovador que oferece assistência de agentes alimentados por LLMs e recursos de edição aprimorados por linguagem. O LAVE gera automaticamente descrições em linguagem natural para as filmagens do usuário, servindo como base para permitir que o LLM processe os vídeos e auxilie em tarefas de edição. Quando o usuário fornece objetivos de edição, o agente planeja e executa ações relevantes para cumpri-los. Além disso, o LAVE permite que os usuários editem vídeos tanto por meio do agente quanto por manipulação direta da interface, oferecendo flexibilidade e permitindo o refinamento manual das ações do agente. Nosso estudo com usuários, que incluiu oito participantes variando de iniciantes a editores proficientes, demonstrou a eficácia do LAVE. Os resultados também lançaram luz sobre as percepções dos usuários em relação ao paradigma de edição assistida por LLMs proposto e seu impacto na criatividade e no senso de cocriação dos usuários. Com base nessas descobertas, propomos implicações de design para orientar o desenvolvimento futuro da edição de conteúdo assistida por agentes.

English

Video creation has become increasingly popular, yet the expertise and effort required for editing often pose barriers to beginners. In this paper, we explore the integration of large language models (LLMs) into the video editing workflow to reduce these barriers. Our design vision is embodied in LAVE, a novel system that provides LLM-powered agent assistance and language-augmented editing features. LAVE automatically generates language descriptions for the user's footage, serving as the foundation for enabling the LLM to process videos and assist in editing tasks. When the user provides editing objectives, the agent plans and executes relevant actions to fulfill them. Moreover, LAVE allows users to edit videos through either the agent or direct UI manipulation, providing flexibility and enabling manual refinement of agent actions. Our user study, which included eight participants ranging from novices to proficient editors, demonstrated LAVE's effectiveness. The results also shed light on user perceptions of the proposed LLM-assisted editing paradigm and its impact on users' creativity and sense of co-creation. Based on these findings, we propose design implications to inform the future development of agent-assisted content editing.