AudioSlots: Ein Slot-zentriertes generatives Modell für die Audiotrennung

AudioSlots: A slot-centric generative model for audio separation

May 9, 2023

Autoren: Pradyumna Reddy, Scott Wisdom, Klaus Greff, John R. Hershey, Thomas Kipf

cs.AI

Zusammenfassung

In einer Reihe aktueller Arbeiten haben sich objektzentrierte Architekturen als geeignet für die unüberwachte Szenenzerlegung im visuellen Bereich erwiesen. Inspiriert von diesen Methoden präsentieren wir AudioSlots, ein slot-zentriertes generatives Modell für die blinde Quellentrennung im Audiobereich. AudioSlots basiert auf permutationsäquivarianten Encoder- und Decoder-Netzwerken. Das auf der Transformer-Architektur basierende Encoder-Netzwerk lernt, ein gemischtes Audiospektrum auf eine ungeordnete Menge unabhängiger Quellen-Embeddings abzubilden. Das räumliche Broadcast-Decoder-Netzwerk lernt, die Quellenspektren aus den Quellen-Embeddings zu generieren. Wir trainieren das Modell end-to-end unter Verwendung einer permutationsinvarianten Verlustfunktion. Unsere Ergebnisse zur Sprachseparation mit Libri2Mix stellen einen Machbarkeitsnachweis dar, dass dieser Ansatz vielversprechend ist. Wir diskutieren die Ergebnisse und Grenzen unseres Ansatzes detailliert und skizzieren zudem potenzielle Wege zur Überwindung der Grenzen sowie Richtungen für zukünftige Arbeiten.

English

In a range of recent works, object-centric architectures have been shown to be suitable for unsupervised scene decomposition in the vision domain. Inspired by these methods we present AudioSlots, a slot-centric generative model for blind source separation in the audio domain. AudioSlots is built using permutation-equivariant encoder and decoder networks. The encoder network based on the Transformer architecture learns to map a mixed audio spectrogram to an unordered set of independent source embeddings. The spatial broadcast decoder network learns to generate the source spectrograms from the source embeddings. We train the model in an end-to-end manner using a permutation invariant loss function. Our results on Libri2Mix speech separation constitute a proof of concept that this approach shows promise. We discuss the results and limitations of our approach in detail, and further outline potential ways to overcome the limitations and directions for future work.