AVTok : Tokenisation unifiée 1D pour la génération audio-vidéo holistique

Résumé

La génération audio-vidéo a récemment suscité un intérêt de recherche sans précédent, visant à synthétiser un contenu vidéo de haute qualité sonore avec une synchronisation fine et un alignement sémantique entre les composantes auditives et visuelles. Les méthodes antérieures adoptent principalement une conception à double branche avec des modules de tokenisation et de génération séparés par modalité, négligeant l'écart de représentation tout en nécessitant des ressources informatiques intensives pour un entraînement approprié. Inspirés par les récentes avancées en tokenisation visuelle unidimensionnelle, nous présentons AVTok, un nouveau tokenizer unifié conçu pour la génération audio-vidéo holistique. AVTok présente une architecture basée sur un transformateur à double flux avec un encodeur-décodeur partagé et des requêtes apprenables spécifiques à chaque modalité pour encoder efficacement une paire audio-vidéo en une représentation latente unidimensionnelle compacte avec un codebook unifié. Pour faire face au déséquilibre d'informations hétérogènes qui empêche AVTok d'exploiter les informations audio-visuelles alignées, nous concevons une stratégie d'entraînement hiérarchique pour réaliser progressivement des capacités de reconstruction pour chaque modalité. Des expériences approfondies démontrent qu'AVTok excelle à la fois dans la reconstruction audio-vidéo et lorsqu'il est intégré dans des pipelines en aval pour la génération audio-vers-vidéo, vidéo-vers-audio et la génération conjointe audio-vidéo conditionnée par classe. AVTok ouvre la voie au défi de la tokenisation conjointe audio-vidéo et fournit une direction potentielle pour construire de grands modèles multimodaux unifiés pour la génération audio-vidéo.

English

Audio-video generation has recently gained unprecedented research attention, aiming to synthesize high-quality sounding video content with fine-grained synchronization and semantic alignment between the auditory and visual components. The preceding methods predominantly adopt a dual-branch design with separate tokenization and generation modules per modality, neglecting the representation gap while necessitating intensive computational resources for proper training. Inspired by recent advancements in one-dimensional visual tokenization, we present AVTok, a novel unified tokenizer designated for holistic audio-video generation. AVTok features a dual-stream transformer-based architecture with shared encoder-decoder and modal-specific learnable queries to efficiently and effectively encode an audio-video pair into a compact one-dimensional latent representation with a unified codebook. To cope with the heterogeneous information imbalance that hinders AVTok from exploiting aligned audio-visual information, we devise a hierarchical training strategy to progressively realize reconstruction capabilities for each modality. Extensive experiments demonstrate that AVTok excels both in audio-video reconstruction and when integrated into downstream pipelines for audio-to-video, video-to-audio, and class-conditional joint audio-video generation. AVTok paves the way for the challenge of joint audio-video tokenization and provides a potential direction to build unified large multimodal models for audio-video generation.