Реструктуризация узких мест: латентная реорганизация для нейронных аудиоавтокодировщиков

Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders

July 10, 2025

Авторы: Dimitrios Bralios, Jonah Casebeer, Paris Smaragdis

cs.AI

Аннотация

Нейронные аудиокодеки и автоэнкодеры стали универсальными моделями для сжатия, передачи, извлечения признаков и генерации латентного пространства аудиоданных. Однако ключевым ограничением является то, что большинство из них обучаются для максимизации точности восстановления, часто пренебрегая специфической структурой латентного пространства, необходимой для оптимальной работы в различных прикладных задачах. Мы предлагаем простой пост-обработочный подход для решения этой проблемы путем модификации узкого места предварительно обученного автоэнкодера. Наш метод вводит "Re-Bottleneck" — внутреннее узкое место, обучаемое исключительно через потери в латентном пространстве для внедрения пользовательской структуры. Мы демонстрируем эффективность подхода в трех экспериментах. Во-первых, мы накладываем порядок на латентные каналы без ущерба для качества восстановления. Во-вторых, мы выравниваем латентные представления с семантическими эмбеддингами, анализируя влияние на последующее диффузионное моделирование. В-третьих, мы вводим эквивариантность, гарантируя, что операция фильтрации входного аудиосигнала напрямую соответствует определенному преобразованию в латентном пространстве. В итоге, наш подход Re-Bottleneck предлагает гибкий и эффективный способ настройки представлений нейронных аудиомоделей, позволяя им легко адаптироваться к разнообразным требованиям различных приложений с минимальными дополнительными затратами на обучение.

English

Neural audio codecs and autoencoders have emerged as versatile models for audio compression, transmission, feature-extraction, and latent-space generation. However, a key limitation is that most are trained to maximize reconstruction fidelity, often neglecting the specific latent structure necessary for optimal performance in diverse downstream applications. We propose a simple, post-hoc framework to address this by modifying the bottleneck of a pre-trained autoencoder. Our method introduces a "Re-Bottleneck", an inner bottleneck trained exclusively through latent space losses to instill user-defined structure. We demonstrate the framework's effectiveness in three experiments. First, we enforce an ordering on latent channels without sacrificing reconstruction quality. Second, we align latents with semantic embeddings, analyzing the impact on downstream diffusion modeling. Third, we introduce equivariance, ensuring that a filtering operation on the input waveform directly corresponds to a specific transformation in the latent space. Ultimately, our Re-Bottleneck framework offers a flexible and efficient way to tailor representations of neural audio models, enabling them to seamlessly meet the varied demands of different applications with minimal additional training.