LAVE: LLM-aangedreven Agentondersteuning en Taalversterking voor Videobewerking

LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

February 15, 2024

Auteurs: Bryan Wang, Yuliang Li, Zhaoyang Lv, Haijun Xia, Yan Xu, Raj Sodhi

cs.AI

Samenvatting

Videoproductie is steeds populairder geworden, maar de expertise en inspanning die nodig zijn voor het bewerken ervan vormen vaak obstakels voor beginners. In dit artikel onderzoeken we de integratie van grote taalmodellen (LLM's) in de videobewerkingsworkflow om deze barrières te verlagen. Onze ontwerpvisie wordt belichaamd in LAVE, een nieuw systeem dat LLM-gestuurde agentondersteuning en taalondersteunde bewerkingsfuncties biedt. LAVE genereert automatisch taal beschrijvingen voor het beeldmateriaal van de gebruiker, wat als basis dient om de LLM video's te laten verwerken en te assisteren bij bewerkingstaken. Wanneer de gebruiker bewerkingsdoelen opgeeft, plant en voert de agent relevante acties uit om deze te vervullen. Bovendien stelt LAVE gebruikers in staat om video's te bewerken via de agent of directe UI-manipulatie, wat flexibiliteit biedt en handmatige verfijning van agentacties mogelijk maakt. Onze gebruikersstudie, waaraan acht deelnemers van beginners tot ervaren editors deelnamen, toonde de effectiviteit van LAVE aan. De resultaten geven ook inzicht in de percepties van gebruikers over het voorgestelde LLM-ondersteunde bewerkingsparadigma en de impact ervan op de creativiteit en het gevoel van co-creatie van gebruikers. Op basis van deze bevindingen stellen we ontwerpimplicaties voor om de toekomstige ontwikkeling van agent-ondersteunde inhoudsbewerking te informeren.

English

Video creation has become increasingly popular, yet the expertise and effort required for editing often pose barriers to beginners. In this paper, we explore the integration of large language models (LLMs) into the video editing workflow to reduce these barriers. Our design vision is embodied in LAVE, a novel system that provides LLM-powered agent assistance and language-augmented editing features. LAVE automatically generates language descriptions for the user's footage, serving as the foundation for enabling the LLM to process videos and assist in editing tasks. When the user provides editing objectives, the agent plans and executes relevant actions to fulfill them. Moreover, LAVE allows users to edit videos through either the agent or direct UI manipulation, providing flexibility and enabling manual refinement of agent actions. Our user study, which included eight participants ranging from novices to proficient editors, demonstrated LAVE's effectiveness. The results also shed light on user perceptions of the proposed LLM-assisted editing paradigm and its impact on users' creativity and sense of co-creation. Based on these findings, we propose design implications to inform the future development of agent-assisted content editing.