AVTok: 1D унифицированная токенизация для целостной генерации аудио и видео

Аннотация

Генерация аудио и видео в последнее время привлекла беспрецедентное внимание исследователей, будучи направленной на синтез высококачественного видеоконтента со звуком с мелкозернистой синхронизацией и семантическим согласованием слуховых и визуальных компонентов. Предшествующие методы в основном используют двухветвевую архитектуру с отдельными модулями токенизации и генерации для каждой модальности, игнорируя разрыв представлений и требуя интенсивных вычислительных ресурсов для надлежащего обучения. Вдохновленные недавними достижениями в одномерной визуальной токенизации, мы представляем AVTok — новый унифицированный токенизатор, предназначенный для целостной генерации аудио и видео. AVTok использует двухпоточную архитектуру на основе трансформера с общим кодером-декодером и обучаемыми запросами, специфичными для модальности, что позволяет эффективно и результативно кодировать пару аудио-видео в компактное одномерное латентное представление с единой кодовой книгой. Чтобы справиться с дисбалансом гетерогенной информации, который мешает AVTok использовать согласованную аудиовизуальную информацию, мы разрабатываем иерархическую стратегию обучения для постепенной реализации возможностей реконструкции для каждой модальности. Обширные эксперименты показывают, что AVTok превосходно справляется как с реконструкцией аудио и видео, так и при интеграции в нижестоящие конвейеры для генерации аудио из видео, видео из аудио и условной по классам совместной генерации аудио и видео. AVTok прокладывает путь к решению задачи совместной токенизации аудио и видео и предлагает потенциальное направление для создания унифицированных больших мультимодальных моделей для генерации аудио и видео.

English

Audio-video generation has recently gained unprecedented research attention, aiming to synthesize high-quality sounding video content with fine-grained synchronization and semantic alignment between the auditory and visual components. The preceding methods predominantly adopt a dual-branch design with separate tokenization and generation modules per modality, neglecting the representation gap while necessitating intensive computational resources for proper training. Inspired by recent advancements in one-dimensional visual tokenization, we present AVTok, a novel unified tokenizer designated for holistic audio-video generation. AVTok features a dual-stream transformer-based architecture with shared encoder-decoder and modal-specific learnable queries to efficiently and effectively encode an audio-video pair into a compact one-dimensional latent representation with a unified codebook. To cope with the heterogeneous information imbalance that hinders AVTok from exploiting aligned audio-visual information, we devise a hierarchical training strategy to progressively realize reconstruction capabilities for each modality. Extensive experiments demonstrate that AVTok excels both in audio-video reconstruction and when integrated into downstream pipelines for audio-to-video, video-to-audio, and class-conditional joint audio-video generation. AVTok paves the way for the challenge of joint audio-video tokenization and provides a potential direction to build unified large multimodal models for audio-video generation.