AVTok: 1D-einheitliche Tokenisierung für ganzheitliche Audio-Video-Generierung

Zusammenfassung

Die Audio-Video-Generierung hat in letzter Zeit eine beispiellose Forschungsaufmerksamkeit erlangt, mit dem Ziel, hochwertige Videoinhalte mit feinkörniger Synchronisation und semantischer Ausrichtung zwischen den auditiven und visuellen Komponenten zu synthetisieren. Die bisherigen Methoden nutzen überwiegend ein Zweig-Design mit separaten Tokenisierungs- und Generierungsmodulen pro Modalität, vernachlässigen dabei die Repräsentationslücke und erfordern intensive Rechenressourcen für ein ordnungsgemäßes Training. Inspiriert von jüngsten Fortschritten in der eindimensionalen visuellen Tokenisierung stellen wir AVTok vor, einen neuartigen einheitlichen Tokenizer, der für die ganzheitliche Audio-Video-Generierung konzipiert ist. AVTok verfügt über eine auf einem dualen Transformer basierende Architektur mit gemeinsam genutztem Encoder-Decoder und modalspezifischen lernbaren Abfragen, um ein Audio-Video-Paar effizient und effektiv in eine kompakte eindimensionale latente Repräsentation mit einem einheitlichen Codebuch zu kodieren. Um das heterogene Informationsungleichgewicht zu bewältigen, das AVTok daran hindert, ausgerichtete Audio-Visual-Informationen zu nutzen, entwickeln wir eine hierarchische Trainingsstrategie, um schrittweise Rekonstruktionsfähigkeiten für jede Modalität zu realisieren. Umfangreiche Experimente zeigen, dass AVTok sowohl bei der Audio-Video-Rekonstruktion als auch bei der Integration in nachgelagerte Pipelines für Audio-zu-Video, Video-zu-Audio und klassenbedingte gemeinsame Audio-Video-Generierung hervorragende Leistungen erbringt. AVTok ebnet den Weg für die Herausforderung der gemeinsamen Audio-Video-Tokenisierung und bietet eine potenzielle Richtung für den Aufbau einheitlicher großer multimodaler Modelle für die Audio-Video-Generierung.

English

Audio-video generation has recently gained unprecedented research attention, aiming to synthesize high-quality sounding video content with fine-grained synchronization and semantic alignment between the auditory and visual components. The preceding methods predominantly adopt a dual-branch design with separate tokenization and generation modules per modality, neglecting the representation gap while necessitating intensive computational resources for proper training. Inspired by recent advancements in one-dimensional visual tokenization, we present AVTok, a novel unified tokenizer designated for holistic audio-video generation. AVTok features a dual-stream transformer-based architecture with shared encoder-decoder and modal-specific learnable queries to efficiently and effectively encode an audio-video pair into a compact one-dimensional latent representation with a unified codebook. To cope with the heterogeneous information imbalance that hinders AVTok from exploiting aligned audio-visual information, we devise a hierarchical training strategy to progressively realize reconstruction capabilities for each modality. Extensive experiments demonstrate that AVTok excels both in audio-video reconstruction and when integrated into downstream pipelines for audio-to-video, video-to-audio, and class-conditional joint audio-video generation. AVTok paves the way for the challenge of joint audio-video tokenization and provides a potential direction to build unified large multimodal models for audio-video generation.