再ボトルネック：ニューラル音声オートエンコーダのための潜在構造再構築

要旨

ニューラル音声コーデックとオートエンコーダは、音声圧縮、伝送、特徴抽出、および潜在空間生成のための汎用モデルとして登場している。しかし、その主な制約は、ほとんどのモデルが再構成忠実度を最大化するように訓練されており、多様な下流アプリケーションでの最適な性能に必要な特定の潜在構造をしばしば無視している点である。本研究では、事前訓練済みのオートエンコーダのボトルネックを修正することでこの問題に対処するシンプルな事後フレームワークを提案する。我々の手法は「Re-Bottleneck」を導入し、潜在空間損失のみを通じて訓練される内部ボトルネックを追加し、ユーザー定義の構造を組み込む。このフレームワークの有効性を3つの実験で実証する。まず、再構成品質を犠牲にすることなく潜在チャネルに順序を付与する。次に、潜在変数を意味的埋め込みと整合させ、下流の拡散モデリングへの影響を分析する。最後に、等価性を導入し、入力波形に対するフィルタリング操作が潜在空間内の特定の変換に直接対応することを保証する。最終的に、Re-Bottleneckフレームワークは、ニューラル音声モデルの表現を柔軟かつ効率的に調整する方法を提供し、最小限の追加訓練で異なるアプリケーションの多様な要求にシームレスに対応できるようにする。

English

Neural audio codecs and autoencoders have emerged as versatile models for audio compression, transmission, feature-extraction, and latent-space generation. However, a key limitation is that most are trained to maximize reconstruction fidelity, often neglecting the specific latent structure necessary for optimal performance in diverse downstream applications. We propose a simple, post-hoc framework to address this by modifying the bottleneck of a pre-trained autoencoder. Our method introduces a "Re-Bottleneck", an inner bottleneck trained exclusively through latent space losses to instill user-defined structure. We demonstrate the framework's effectiveness in three experiments. First, we enforce an ordering on latent channels without sacrificing reconstruction quality. Second, we align latents with semantic embeddings, analyzing the impact on downstream diffusion modeling. Third, we introduce equivariance, ensuring that a filtering operation on the input waveform directly corresponds to a specific transformation in the latent space. Ultimately, our Re-Bottleneck framework offers a flexible and efficient way to tailor representations of neural audio models, enabling them to seamlessly meet the varied demands of different applications with minimal additional training.

再ボトルネック：ニューラル音声オートエンコーダのための潜在構造再構築

Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders

要旨

Support