AVTok: Tokenización Unificada 1D para la Generación Holística de Audio y Video

Resumen

La generación de audio-video ha ganado recientemente una atención investigativa sin precedentes, con el objetivo de sintetizar contenido de video de alta calidad sonora que presente una sincronización precisa y una alineación semántica entre los componentes auditivos y visuales. Los métodos anteriores adoptan predominantemente un diseño de doble rama con módulos separados de tokenización y generación por modalidad, descuidando la brecha de representación y exigiendo recursos computacionales intensivos para un entrenamiento adecuado. Inspirándonos en avances recientes en tokenización visual unidimensional, presentamos AVTok, un novedoso tokenizador unificado diseñado para la generación holística de audio-video. AVTok cuenta con una arquitectura basada en transformadores de flujo dual con un codificador-decodificador compartido y consultas aprendibles específicas de cada modalidad para codificar de manera eficiente y efectiva un par audio-video en una representación latente unidimensional compacta con un libro de códigos unificado. Para abordar el desequilibrio de información heterogénea que impide que AVTok aproveche la información audiovisual alineada, diseñamos una estrategia de entrenamiento jerárquico para lograr progresivamente capacidades de reconstrucción para cada modalidad. Experimentos exhaustivos demuestran que AVTok sobresale tanto en la reconstrucción de audio-video como cuando se integra en flujos de trabajo posteriores para generación de audio a video, video a audio y generación conjunta de audio-video condicionada por clase. AVTok allana el camino para el desafío de la tokenización conjunta de audio-video y proporciona una dirección potencial para construir modelos multimodales grandes y unificados para la generación de audio-video.

English

Audio-video generation has recently gained unprecedented research attention, aiming to synthesize high-quality sounding video content with fine-grained synchronization and semantic alignment between the auditory and visual components. The preceding methods predominantly adopt a dual-branch design with separate tokenization and generation modules per modality, neglecting the representation gap while necessitating intensive computational resources for proper training. Inspired by recent advancements in one-dimensional visual tokenization, we present AVTok, a novel unified tokenizer designated for holistic audio-video generation. AVTok features a dual-stream transformer-based architecture with shared encoder-decoder and modal-specific learnable queries to efficiently and effectively encode an audio-video pair into a compact one-dimensional latent representation with a unified codebook. To cope with the heterogeneous information imbalance that hinders AVTok from exploiting aligned audio-visual information, we devise a hierarchical training strategy to progressively realize reconstruction capabilities for each modality. Extensive experiments demonstrate that AVTok excels both in audio-video reconstruction and when integrated into downstream pipelines for audio-to-video, video-to-audio, and class-conditional joint audio-video generation. AVTok paves the way for the challenge of joint audio-video tokenization and provides a potential direction to build unified large multimodal models for audio-video generation.