Re-Cuello de Botella: Re-Estructuración Latente para Autoencoders Neuronales de Audio

Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders

July 10, 2025

Autores: Dimitrios Bralios, Jonah Casebeer, Paris Smaragdis

cs.AI

Resumen

Los códecs de audio neuronales y los autocodificadores han surgido como modelos versátiles para la compresión de audio, transmisión, extracción de características y generación de espacios latentes. Sin embargo, una limitación clave es que la mayoría se entrenan para maximizar la fidelidad de reconstrucción, a menudo descuidando la estructura latente específica necesaria para un rendimiento óptimo en diversas aplicaciones posteriores. Proponemos un marco simple y posterior para abordar esto mediante la modificación del cuello de botella de un autocodificador preentrenado. Nuestro método introduce un "Re-Cuello de Botella", un cuello de botella interno entrenado exclusivamente mediante pérdidas en el espacio latente para inculcar una estructura definida por el usuario. Demostramos la efectividad del marco en tres experimentos. Primero, imponemos un orden en los canales latentes sin sacrificar la calidad de reconstrucción. Segundo, alineamos los latentes con incrustaciones semánticas, analizando el impacto en el modelado de difusión posterior. Tercero, introducimos equivariancia, asegurando que una operación de filtrado en la forma de onda de entrada corresponda directamente a una transformación específica en el espacio latente. En última instancia, nuestro marco de Re-Cuello de Botella ofrece una forma flexible y eficiente de adaptar las representaciones de los modelos de audio neuronales, permitiéndoles cumplir sin problemas las diversas demandas de diferentes aplicaciones con un entrenamiento adicional mínimo.

English

Neural audio codecs and autoencoders have emerged as versatile models for audio compression, transmission, feature-extraction, and latent-space generation. However, a key limitation is that most are trained to maximize reconstruction fidelity, often neglecting the specific latent structure necessary for optimal performance in diverse downstream applications. We propose a simple, post-hoc framework to address this by modifying the bottleneck of a pre-trained autoencoder. Our method introduces a "Re-Bottleneck", an inner bottleneck trained exclusively through latent space losses to instill user-defined structure. We demonstrate the framework's effectiveness in three experiments. First, we enforce an ordering on latent channels without sacrificing reconstruction quality. Second, we align latents with semantic embeddings, analyzing the impact on downstream diffusion modeling. Third, we introduce equivariance, ensuring that a filtering operation on the input waveform directly corresponds to a specific transformation in the latent space. Ultimately, our Re-Bottleneck framework offers a flexible and efficient way to tailor representations of neural audio models, enabling them to seamlessly meet the varied demands of different applications with minimal additional training.