AVTok: 1D 통합 토큰화를 통한 종합적 오디오-비디오 생성

초록

오디오-비디오 생성은 최근 연구 관심을 전례 없이 받으며, 청각 및 시각 구성 요소 간의 미세한 동기화와 의미적 정렬을 갖춘 고품질의 소리가 포함된 비디오 콘텐츠를 합성하는 것을 목표로 한다. 기존 방법들은 주로 각 모달리티별로 분리된 토큰화 및 생성 모듈을 갖춘 이중 분기 설계를 채택하여 표현 격차를 무시하는 동시에 적절한 훈련을 위해 집중적인 계산 자원을 필요로 했다. 1차원 시각 토큰화의 최근 발전에 영감을 받아, 우리는 통합적인 오디오-비디오 생성을 위해 설계된 새로운 통합 토크나이저인 AVTok을 제시한다. AVTok은 공유 인코더-디코더와 모달별 학습 가능한 쿼리를 갖춘 이중 스트림 트랜스포머 기반 아키텍처를 특징으로 하며, 오디오-비디오 쌍을 통합 코드북을 사용하여 효율적이고 효과적으로 하나의 컴팩트한 1차원 잠재 표현으로 인코딩한다. AVTok이 정렬된 오디오-비디오 정보를 활용하지 못하게 방해하는 이질적 정보 불균형을 해결하기 위해, 우리는 각 모달리티에 대한 재구성 능력을 점진적으로 실현하는 계층적 학습 전략을 고안했다. 광범위한 실험을 통해 AVTok이 오디오-비디오 재구성뿐만 아니라 오디오-비디오 변환, 비디오-오디오 변환, 클래스 조건부 공동 오디오-비디오 생성을 위한 하위 파이프라인에 통합될 때에도 뛰어난 성능을 보임을 입증했다. AVTok은 공동 오디오-비디오 토큰화라는 과제를 해결하는 길을 열며, 오디오-비디오 생성을 위한 통합 대규모 멀티모달 모델을 구축할 수 있는 잠재적 방향성을 제시한다.

English

Audio-video generation has recently gained unprecedented research attention, aiming to synthesize high-quality sounding video content with fine-grained synchronization and semantic alignment between the auditory and visual components. The preceding methods predominantly adopt a dual-branch design with separate tokenization and generation modules per modality, neglecting the representation gap while necessitating intensive computational resources for proper training. Inspired by recent advancements in one-dimensional visual tokenization, we present AVTok, a novel unified tokenizer designated for holistic audio-video generation. AVTok features a dual-stream transformer-based architecture with shared encoder-decoder and modal-specific learnable queries to efficiently and effectively encode an audio-video pair into a compact one-dimensional latent representation with a unified codebook. To cope with the heterogeneous information imbalance that hinders AVTok from exploiting aligned audio-visual information, we devise a hierarchical training strategy to progressively realize reconstruction capabilities for each modality. Extensive experiments demonstrate that AVTok excels both in audio-video reconstruction and when integrated into downstream pipelines for audio-to-video, video-to-audio, and class-conditional joint audio-video generation. AVTok paves the way for the challenge of joint audio-video tokenization and provides a potential direction to build unified large multimodal models for audio-video generation.