AVControl: Эффективная платформа для обучения аудиовизуальным контроллерам

Аннотация

Управление генерацией видео и аудио требует разнообразных модальностей — от глубины и позы до траекторий камеры и аудиопреобразований, однако существующие подходы либо обучают единую монолитную модель для фиксированного набора управляющих сигналов, либо вводят дорогостоящие архитектурные изменения для каждой новой модальности. Мы представляем AVControl — легковесный и расширяемый фреймворк, построенный на основе LTX-2, совместной аудиовизуальной базовой модели, в котором каждая управляющая модальность обучается в виде отдельного LoRA-адаптера на параллельном "холсте", предоставляющем опорный сигнал в виде дополнительных токенов в слоях внимания, что не требует архитектурных изменений, кроме самих адаптеров LoRA. Мы показываем, что простое расширение контекстных методов, разработанных для изображений, на видео не работает для структурного контроля, и что наш подход с параллельным холстом решает эту проблему. На benchmark VACE мы превосходим все оцененные базовые методы по генерации, управляемой глубиной и позой, а также по вписыванию и расширению контента, и демонстрируем конкурентоспособные результаты по управлению камерой и на аудиовизуальных benchmarks. Наш фреймворк поддерживает разнообразный набор независимо обученных модальностей: пространственно-выровненные управления, такие как глубина, поза и границы, траектория камеры с внутренними параметрами, разреженное управление движением, редактирование видео и, насколько нам известно, первые модульные аудиовизуальные управления для совместной модели генерации. Наш метод эффективен как по вычислительным затратам, так и по данным: для каждой модальности требуется лишь небольшой набор данных, и обучение сходится за несколько сотен или тысяч шагов, что составляет лишь малую долю затрат монолитных альтернатив. Мы публикуем наш код и обученные чекпоинты LoRA.

English

Controlling video and audio generation requires diverse modalities, from depth and pose to camera trajectories and audio transformations, yet existing approaches either train a single monolithic model for a fixed set of controls or introduce costly architectural changes for each new modality. We introduce AVControl, a lightweight, extendable framework built on LTX-2, a joint audio-visual foundation model, where each control modality is trained as a separate LoRA on a parallel canvas that provides the reference signal as additional tokens in the attention layers, requiring no architectural changes beyond the LoRA adapters themselves. We show that simply extending image-based in-context methods to video fails for structural control, and that our parallel canvas approach resolves this. On the VACE Benchmark, we outperform all evaluated baselines on depth- and pose-guided generation, inpainting, and outpainting, and show competitive results on camera control and audio-visual benchmarks. Our framework supports a diverse set of independently trained modalities: spatially-aligned controls such as depth, pose, and edges, camera trajectory with intrinsics, sparse motion control, video editing, and, to our knowledge, the first modular audio-visual controls for a joint generation model. Our method is both compute- and data-efficient: each modality requires only a small dataset and converges within a few hundred to a few thousand training steps, a fraction of the budget of monolithic alternatives. We publicly release our code and trained LoRA checkpoints.

AVControl: Эффективная платформа для обучения аудиовизуальным контроллерам

AVControl: Efficient Framework for Training Audio-Visual Controls

Аннотация

Support