Aurora: унифицированное редактирование видео с агентом, использующим инструменты

Аннотация

Недавние модели редактирования видео сошлись на единой схеме кондиционирования: один диффузионный трансформер совместно обрабатывает текст, исходное видео и референсные изображения, а один набор весов охватывает замену, удаление, перенос стиля и вставку на основе референсов. Такая конструкция гибкая, но предполагает, что пользователь уже предоставляет готовый для модели текст, референсные изображения и пространственную привязку для локальных правок, что в реальных запросах часто опускается. Мы представляем Aurora — агентную структуру редактирования видео, которая объединяет агента на основе зрительно-языковой модели (VLM), дополненной инструментами, с единым диффузионным трансформером видео. Агент VLM преобразует сырой запрос пользователя в структурированный план редактирования, согласованный с каналами кондиционирования трансформера, тем самым устраняя текстовую и визуальную неполную спецификацию до генерации. Мы обучаем агента VLM на контролируемых данных для полного планирования редактирования и выбора референсных изображений, а также на парах предпочтений для надежного использования инструментов и уточнения инструкций. Мы представляем AgentEdit-Bench для оценки редактирования видео с усилением агента в условиях текстовой и визуальной неполной спецификации. Эксперименты на AgentEdit-Bench и двух существующих бенчмарках редактирования видео показывают, что Aurora превосходит базовые модели, использующие только инструкции, и что агент VLM переносится на совместимые замороженные модели редактирования видео. Страница проекта: https://yeates.github.io/Aurora-Page

English

Recent video editing models have converged on a unified conditioning design: a single diffusion transformer jointly consumes text, source video, and reference images, and one set of weights covers replacement, removal, style transfer, and reference-driven insertion. The design is flexible, but it assumes that the user already provides model-ready text, reference images, and spatial grounding for local edits, which real requests often omit. We present Aurora, an agentic video editing framework that pairs a tool-augmented vision-language model (VLM) agent with a unified video diffusion transformer. The VLM agent maps a raw user request to a structured edit plan aligned with the transformer's conditioning channels, thereby resolving textual and visual underspecification before generation. We train the VLM agent with supervised data for complete edit planning and reference-image selection, together with preference pairs for robust tool use and instruction refinement. We introduce AgentEdit-Bench to evaluate agent-enhanced video editing under textual and visual underspecification. Experiments on AgentEdit-Bench and two existing video editing benchmarks show that Aurora improves over instruction-only baselines and that the VLM agent transfers to compatible frozen video editing models. Project page: https://yeates.github.io/Aurora-Page