LAVE: Assistenza Agente Potenziata da LLM e Aumento Linguistico per il Montaggio Video

LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing

February 15, 2024

Autori: Bryan Wang, Yuliang Li, Zhaoyang Lv, Haijun Xia, Yan Xu, Raj Sodhi

cs.AI

Abstract

La creazione di video è diventata sempre più popolare, ma le competenze e lo sforzo richiesti per l'editing spesso rappresentano ostacoli per i principianti. In questo articolo, esploriamo l'integrazione di modelli linguistici di grandi dimensioni (LLM) nel flusso di lavoro di editing video per ridurre queste barriere. La nostra visione progettuale si concretizza in LAVE, un sistema innovativo che offre assistenza tramite agenti basati su LLM e funzionalità di editing potenziate dal linguaggio. LAVE genera automaticamente descrizioni linguistiche per i filmati dell'utente, che fungono da base per consentire all'LLM di elaborare i video e assistere nelle attività di editing. Quando l'utente fornisce obiettivi di editing, l'agente pianifica ed esegue azioni rilevanti per raggiungerli. Inoltre, LAVE consente agli utenti di modificare i video sia tramite l'agente che attraverso la manipolazione diretta dell'interfaccia utente, offrendo flessibilità e permettendo la rifinitura manuale delle azioni dell'agente. Il nostro studio utente, che ha coinvolto otto partecipanti che spaziavano da principianti a editor esperti, ha dimostrato l'efficacia di LAVE. I risultati hanno anche gettato luce sulle percezioni degli utenti riguardo al paradigma di editing assistito da LLM proposto e al suo impatto sulla creatività e sul senso di co-creazione degli utenti. Sulla base di questi risultati, proponiamo implicazioni progettuali per informare lo sviluppo futuro dell'editing di contenuti assistito da agenti.

English

Video creation has become increasingly popular, yet the expertise and effort required for editing often pose barriers to beginners. In this paper, we explore the integration of large language models (LLMs) into the video editing workflow to reduce these barriers. Our design vision is embodied in LAVE, a novel system that provides LLM-powered agent assistance and language-augmented editing features. LAVE automatically generates language descriptions for the user's footage, serving as the foundation for enabling the LLM to process videos and assist in editing tasks. When the user provides editing objectives, the agent plans and executes relevant actions to fulfill them. Moreover, LAVE allows users to edit videos through either the agent or direct UI manipulation, providing flexibility and enabling manual refinement of agent actions. Our user study, which included eight participants ranging from novices to proficient editors, demonstrated LAVE's effectiveness. The results also shed light on user perceptions of the proposed LLM-assisted editing paradigm and its impact on users' creativity and sense of co-creation. Based on these findings, we propose design implications to inform the future development of agent-assisted content editing.