Aurora: Geïntegreerde videobewerking met een tool-gebruikende agent

Samenvatting

Recente videobewerkingsmodellen zijn geconvergeerd naar een geünificeerd conditioneringontwerp: één diffusietransformator verwerkt gezamenlijk tekst, bronvideo en referentiebeelden, en één set gewichten dekt vervanging, verwijdering, stijloverdracht en referentiegestuurde invoeging. Het ontwerp is flexibel, maar het veronderstelt dat de gebruiker al model-ready tekst, referentiebeelden en ruimtelijke verankering voor lokale bewerkingen aanlevert, wat echte verzoeken vaak weglaten. We presenteren Aurora, een agentisch videobewerkingsraamwerk dat een tool-verrijkt visie-taalmodel (VLM) agent koppelt aan een geünificeerde videodiffusietransformator. De VLM agent zet een rauw gebruikersverzoek om in een gestructureerd bewerkingsplan dat is afgestemd op de conditioneringkanalen van de transformator, waardoor tekstuele en visuele onderbepaling voorafgaand aan de generatie wordt opgelost. We trainen de VLM agent met gesuperviseerde data voor volledige bewerkingsplanning en referentiebeeldselectie, samen met voorkeursparen voor robuust toolgebruik en instructieverfijning. We introduceren AgentEdit-Bench om agent-verbeterde videobewerking te evalueren onder tekstuele en visuele onderbepaling. Experimenten op AgentEdit-Bench en twee bestaande videobewerkingsbenchmarks tonen aan dat Aurora beter presteert dan alleen-instructie baselines en dat de VLM agent overdraagt naar compatibele bevroren videobewerkingsmodellen. Projectpagina: https://yeates.github.io/Aurora-Page

English

Recent video editing models have converged on a unified conditioning design: a single diffusion transformer jointly consumes text, source video, and reference images, and one set of weights covers replacement, removal, style transfer, and reference-driven insertion. The design is flexible, but it assumes that the user already provides model-ready text, reference images, and spatial grounding for local edits, which real requests often omit. We present Aurora, an agentic video editing framework that pairs a tool-augmented vision-language model (VLM) agent with a unified video diffusion transformer. The VLM agent maps a raw user request to a structured edit plan aligned with the transformer's conditioning channels, thereby resolving textual and visual underspecification before generation. We train the VLM agent with supervised data for complete edit planning and reference-image selection, together with preference pairs for robust tool use and instruction refinement. We introduce AgentEdit-Bench to evaluate agent-enhanced video editing under textual and visual underspecification. Experiments on AgentEdit-Bench and two existing video editing benchmarks show that Aurora improves over instruction-only baselines and that the VLM agent transfers to compatible frozen video editing models. Project page: https://yeates.github.io/Aurora-Page