Re-Bottleneck: Latent Herstructurering voor Neurale Audio Auto-encoders

Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders

July 10, 2025

Auteurs: Dimitrios Bralios, Jonah Casebeer, Paris Smaragdis

cs.AI

Samenvatting

Neurale audiocodecs en auto-encoders zijn naar voren gekomen als veelzijdige modellen voor audiocompressie, transmissie, feature-extractie en latent-ruimtegeneratie. Een belangrijke beperking is echter dat de meeste zijn getraind om de reconstructiekwaliteit te maximaliseren, waarbij vaak de specifieke latentestructuur die nodig is voor optimale prestaties in diverse downstream-toepassingen wordt verwaarloosd. Wij stellen een eenvoudig, achteraf toegepast raamwerk voor om dit aan te pakken door de bottleneck van een vooraf getrainde auto-encoder aan te passen. Onze methode introduceert een "Re-Bottleneck", een interne bottleneck die uitsluitend wordt getraind via latent-ruimteverliezen om een door de gebruiker gedefinieerde structuur te creëren. We demonstreren de effectiviteit van het raamwerk in drie experimenten. Ten eerste leggen we een ordening op aan latentekanalen zonder de reconstructiekwaliteit op te offeren. Ten tweede aligneren we latenties met semantische embeddings, waarbij we de impact op downstream diffusiemodellering analyseren. Ten derde introduceren we equivariantie, waardoor een filteroperatie op het invoergolfvorm direct overeenkomt met een specifieke transformatie in de latentruimte. Uiteindelijk biedt ons Re-Bottleneck-raamwerk een flexibele en efficiënte manier om representaties van neurale audiomodellen aan te passen, waardoor ze naadloos kunnen voldoen aan de uiteenlopende eisen van verschillende toepassingen met minimale aanvullende training.

English

Neural audio codecs and autoencoders have emerged as versatile models for audio compression, transmission, feature-extraction, and latent-space generation. However, a key limitation is that most are trained to maximize reconstruction fidelity, often neglecting the specific latent structure necessary for optimal performance in diverse downstream applications. We propose a simple, post-hoc framework to address this by modifying the bottleneck of a pre-trained autoencoder. Our method introduces a "Re-Bottleneck", an inner bottleneck trained exclusively through latent space losses to instill user-defined structure. We demonstrate the framework's effectiveness in three experiments. First, we enforce an ordering on latent channels without sacrificing reconstruction quality. Second, we align latents with semantic embeddings, analyzing the impact on downstream diffusion modeling. Third, we introduce equivariance, ensuring that a filtering operation on the input waveform directly corresponds to a specific transformation in the latent space. Ultimately, our Re-Bottleneck framework offers a flexible and efficient way to tailor representations of neural audio models, enabling them to seamlessly meet the varied demands of different applications with minimal additional training.