Re-Bottleneck : Restructuration latente pour les autoencodeurs neuronaux audio

Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders

July 10, 2025

papers.authors: Dimitrios Bralios, Jonah Casebeer, Paris Smaragdis

cs.AI

papers.abstract

Les codecs audio neuronaux et les autoencodeurs sont apparus comme des modèles polyvalents pour la compression audio, la transmission, l'extraction de caractéristiques et la génération d'espaces latents. Cependant, une limitation majeure réside dans le fait que la plupart sont entraînés à maximiser la fidélité de reconstruction, négligeant souvent la structure latente spécifique nécessaire pour une performance optimale dans diverses applications en aval. Nous proposons un cadre simple et post-hoc pour résoudre ce problème en modifiant le goulot d'étranglement d'un autoencodeur pré-entraîné. Notre méthode introduit un "Re-Bottleneck", un goulot d'étranglement interne entraîné exclusivement par des pertes dans l'espace latent pour instaurer une structure définie par l'utilisateur. Nous démontrons l'efficacité de ce cadre à travers trois expériences. Premièrement, nous imposons un ordre sur les canaux latents sans sacrifier la qualité de reconstruction. Deuxièmement, nous alignons les latents avec des embeddings sémantiques, en analysant l'impact sur la modélisation par diffusion en aval. Troisièmement, nous introduisons l'équivariance, garantissant qu'une opération de filtrage sur la forme d'onde d'entrée correspond directement à une transformation spécifique dans l'espace latent. En fin de compte, notre cadre Re-Bottleneck offre une manière flexible et efficace d'adapter les représentations des modèles audio neuronaux, leur permettant de répondre sans heurts aux exigences variées de différentes applications avec un entraînement supplémentaire minimal.

English

Neural audio codecs and autoencoders have emerged as versatile models for audio compression, transmission, feature-extraction, and latent-space generation. However, a key limitation is that most are trained to maximize reconstruction fidelity, often neglecting the specific latent structure necessary for optimal performance in diverse downstream applications. We propose a simple, post-hoc framework to address this by modifying the bottleneck of a pre-trained autoencoder. Our method introduces a "Re-Bottleneck", an inner bottleneck trained exclusively through latent space losses to instill user-defined structure. We demonstrate the framework's effectiveness in three experiments. First, we enforce an ordering on latent channels without sacrificing reconstruction quality. Second, we align latents with semantic embeddings, analyzing the impact on downstream diffusion modeling. Third, we introduce equivariance, ensuring that a filtering operation on the input waveform directly corresponds to a specific transformation in the latent space. Ultimately, our Re-Bottleneck framework offers a flexible and efficient way to tailor representations of neural audio models, enabling them to seamlessly meet the varied demands of different applications with minimal additional training.