KVAE: 멀티모달 생성 모델을 위한 토크나이저 계열

초록

잠재 확산 모델링(LDM)은 주요 패러다임으로, 입력 신호를 압축된 표현으로 매핑하기 위해 토크나이저를 활용한다. 이러한 의존성은 토크나이저가 생성 과정 자체의 필수적인 부분이 되게 하며, 이는 학습 속도와 합성 샘플의 품질에 영향을 미치고 이후 응용의 기반을 마련하기 때문이다. 본 보고서는 후속 텍스트 조건 생성을 위해 설계된 오디오, 이미지, 비디오용 일련의 KVAE 토크나이저를 제시한다: KVAE-Audio는 64채널의 50Hz 잠재 표현을 갖춘 연속 풀밴드 48kHz 토크나이저이고, KVAE-3D는 4x16x16 및 4x8x8 압축을 위한 두 가지 인과적 비디오 토크나이저이며, KVAE-2D는 이미지 모델로서 32채널로 입력을 8배 압축한다. 우리는 재구성(PSNR, LPIPS, PESQ 등) 및 생성 결과가 객관적(Frechet Distance, CLIP score, CLAP score 등) 및 주관적(나란히 비교 평가) 지표에서 Wan-2.2, HunyuanVideo-1.5, FLUX.2, MovieGen, StableAudio 및 MMAudio의 VAE와 같은 최첨단 오픈소스 토크나이저와 동등하거나 능가함을 입증한다. 개발의 어려움을 고려하여, 우리는 커뮤니티와 훈련 세부 사항, 모델 선택 방법 및 설계 선택에 대한 절제 실험을 공유한다. 코드는 https://github.com/kandinskylab/kvae 및 https://github.com/kandinskylab/kvae-audio에서 공개적으로 이용 가능하다.

English

Latent diffusion modeling (LDM), a prominent paradigm, utilizes tokenizers to map input signal to compressed representation. This dependency positions tokenizer as an integral part of generation process itself, since it affects learning speed, quality of synthesized samples and lay foundation for later applications. This report presents series of KVAE tokenizers for audio, image and video, all designed for subsequent text-conditioned generation: KVAE-Audio, a continuous full-band 48 kHz tokenizer with a 50 Hz latent of 64 channels; KVAE-3D -- two causal video tokenizers for 4x16x16 and 4x8x8 compression; KVAE-2D, an image model, compressing input by factor of 8 with 32 channels. We demonstrate that reconstruction (PSNR, LPIPS, PESQ, etc.) and generation results on objective (Frechet Distance, CLIP score, CLAP score, etc.) and subjective (side-by-side evaluation) metrics matches or surpasses frontier opensource tokenizers, such as VAEs from Wan-2.2, HunyuanVideo-1.5, FLUX.2, MovieGen, StableAudio and MMAudio. Considering difficulty of development, we share with community training details, model selection method and ablation on design choices. The code is publicly available at https://github.com/kandinskylab/kvae and https://github.com/kandinskylab/kvae-audio.