AudioSlots: Een slot-gecentreerd generatief model voor audioscheiding

AudioSlots: A slot-centric generative model for audio separation

May 9, 2023

Auteurs: Pradyumna Reddy, Scott Wisdom, Klaus Greff, John R. Hershey, Thomas Kipf

cs.AI

Samenvatting

In een reeks recente werken is aangetoond dat object-gecentreerde architecturen geschikt zijn voor onbewaakte scenedecompositie in het visuele domein. Geïnspireerd door deze methoden presenteren we AudioSlots, een slot-gecentreerd generatief model voor blinde bronseparatie in het audiodomein. AudioSlots is opgebouwd met behulp van permutatie-equivariante encoder- en decoder-netwerken. Het encoder-netwerk, gebaseerd op de Transformer-architectuur, leert om een gemengd audiospectrogram te mappen naar een ongeordende set van onafhankelijke bron-embeddings. Het spatial broadcast decoder-netwerk leert om de bronspectrogrammen te genereren vanuit de bron-embeddings. We trainen het model end-to-end met behulp van een permutatie-invariante verliesfunctie. Onze resultaten op Libri2Mix spraakseparatie vormen een proof of concept dat deze aanpak veelbelovend is. We bespreken de resultaten en beperkingen van onze aanpak in detail en schetsen verder mogelijke manieren om de beperkingen te overwinnen en richtingen voor toekomstig werk.

English

In a range of recent works, object-centric architectures have been shown to be suitable for unsupervised scene decomposition in the vision domain. Inspired by these methods we present AudioSlots, a slot-centric generative model for blind source separation in the audio domain. AudioSlots is built using permutation-equivariant encoder and decoder networks. The encoder network based on the Transformer architecture learns to map a mixed audio spectrogram to an unordered set of independent source embeddings. The spatial broadcast decoder network learns to generate the source spectrograms from the source embeddings. We train the model in an end-to-end manner using a permutation invariant loss function. Our results on Libri2Mix speech separation constitute a proof of concept that this approach shows promise. We discuss the results and limitations of our approach in detail, and further outline potential ways to overcome the limitations and directions for future work.