KVAE：マルチモーダル生成モデルのためのトークナイザファミリー

要旨

潜在拡散モデリング（LDM）は、主要なパラダイムとして、トークナイザーを用いて入力信号を圧縮表現にマッピングする。この依存関係により、トークナイザーは生成プロセス自体の不可欠な構成要素となり、学習速度や合成サンプルの品質に影響を与え、その後の応用の基盤を築く。本レポートでは、音声・画像・動画向けの一連のKVAEトークナイザーを紹介する。これらはすべて、テキスト条件付き生成のために設計されている：KVAE-Audio（64チャンネルの50Hz潜在表現を備えた連続フルバンド48kHzトークナイザー）、KVAE-3D（4x16x16および4x8x8圧縮のための2つの因果的ビデオトークナイザー）、KVAE-2D（32チャンネルで入力を8分の1に圧縮する画像モデル）である。再構成（PSNR、LPIPS、PESQなど）および客観的指標（Frechet Distance、CLIP score、CLAP scoreなど）と主観的指標（サイドバイサイド評価）による生成結果が、Wan-2.2、HunyuanVideo-1.5、FLUX.2、MovieGen、StableAudio、MMAudio などのVAEを含む最先端のオープンソース・トークナイザーに匹敵するか上回ることを実証する。開発の難しさを考慮し、トレーニングの詳細、モデル選択方法、設計選択に関するアブレーションをコミュニティと共有する。コードは https://github.com/kandinskylab/kvae および https://github.com/kandinskylab/kvae-audio で公開されている。

English

Latent diffusion modeling (LDM), a prominent paradigm, utilizes tokenizers to map input signal to compressed representation. This dependency positions tokenizer as an integral part of generation process itself, since it affects learning speed, quality of synthesized samples and lay foundation for later applications. This report presents series of KVAE tokenizers for audio, image and video, all designed for subsequent text-conditioned generation: KVAE-Audio, a continuous full-band 48 kHz tokenizer with a 50 Hz latent of 64 channels; KVAE-3D -- two causal video tokenizers for 4x16x16 and 4x8x8 compression; KVAE-2D, an image model, compressing input by factor of 8 with 32 channels. We demonstrate that reconstruction (PSNR, LPIPS, PESQ, etc.) and generation results on objective (Frechet Distance, CLIP score, CLAP score, etc.) and subjective (side-by-side evaluation) metrics matches or surpasses frontier opensource tokenizers, such as VAEs from Wan-2.2, HunyuanVideo-1.5, FLUX.2, MovieGen, StableAudio and MMAudio. Considering difficulty of development, we share with community training details, model selection method and ablation on design choices. The code is publicly available at https://github.com/kandinskylab/kvae and https://github.com/kandinskylab/kvae-audio.