Re-Bottleneck: Reestruturação Latente para Autoencoders Neurais de Áudio

Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders

July 10, 2025

Autores: Dimitrios Bralios, Jonah Casebeer, Paris Smaragdis

cs.AI

Resumo

Codecs neurais de áudio e autoencoders surgiram como modelos versáteis para compressão de áudio, transmissão, extração de características e geração de espaços latentes. No entanto, uma limitação fundamental é que a maioria é treinada para maximizar a fidelidade de reconstrução, muitas vezes negligenciando a estrutura latente específica necessária para um desempenho ideal em diversas aplicações subsequentes. Propomos uma estrutura simples e pós-treinamento para abordar isso, modificando o gargalo de um autoencoder pré-treinado. Nosso método introduz um "Re-Gargalo", um gargalo interno treinado exclusivamente por meio de perdas no espaço latente para instilar uma estrutura definida pelo usuário. Demonstramos a eficácia da estrutura em três experimentos. Primeiro, impomos uma ordenação nos canais latentes sem sacrificar a qualidade de reconstrução. Segundo, alinhamos os latentes com embeddings semânticos, analisando o impacto na modelagem de difusão subsequente. Terceiro, introduzimos equivariância, garantindo que uma operação de filtragem no sinal de entrada corresponda diretamente a uma transformação específica no espaço latente. Por fim, nossa estrutura Re-Gargalo oferece uma maneira flexível e eficiente de adaptar as representações de modelos neurais de áudio, permitindo que eles atendam perfeitamente às diversas demandas de diferentes aplicações com um treinamento adicional mínimo.

English

Neural audio codecs and autoencoders have emerged as versatile models for audio compression, transmission, feature-extraction, and latent-space generation. However, a key limitation is that most are trained to maximize reconstruction fidelity, often neglecting the specific latent structure necessary for optimal performance in diverse downstream applications. We propose a simple, post-hoc framework to address this by modifying the bottleneck of a pre-trained autoencoder. Our method introduces a "Re-Bottleneck", an inner bottleneck trained exclusively through latent space losses to instill user-defined structure. We demonstrate the framework's effectiveness in three experiments. First, we enforce an ordering on latent channels without sacrificing reconstruction quality. Second, we align latents with semantic embeddings, analyzing the impact on downstream diffusion modeling. Third, we introduce equivariance, ensuring that a filtering operation on the input waveform directly corresponds to a specific transformation in the latent space. Ultimately, our Re-Bottleneck framework offers a flexible and efficient way to tailor representations of neural audio models, enabling them to seamlessly meet the varied demands of different applications with minimal additional training.