AudioSlots : Un modèle génératif centré sur les slots pour la séparation audio

AudioSlots: A slot-centric generative model for audio separation

May 9, 2023

Auteurs: Pradyumna Reddy, Scott Wisdom, Klaus Greff, John R. Hershey, Thomas Kipf

cs.AI

Résumé

Dans une série de travaux récents, les architectures centrées sur les objets se sont révélées adaptées à la décomposition non supervisée de scènes dans le domaine visuel. Inspirés par ces méthodes, nous présentons AudioSlots, un modèle génératif centré sur les slots pour la séparation aveugle de sources dans le domaine audio. AudioSlots est construit à l'aide de réseaux encodeur et décodeur permutation-équivariants. Le réseau encodeur, basé sur l'architecture Transformer, apprend à mapper un spectrogramme audio mixé à un ensemble non ordonné d'embeddings de sources indépendantes. Le réseau décodeur à diffusion spatiale apprend à générer les spectrogrammes des sources à partir de ces embeddings. Nous entraînons le modèle de bout en bout en utilisant une fonction de perte invariante aux permutations. Nos résultats sur la séparation de parole Libri2Mix constituent une preuve de concept que cette approche est prometteuse. Nous discutons en détail des résultats et des limites de notre méthode, et esquissons des pistes potentielles pour surmonter ces limitations ainsi que des directions pour les travaux futurs.

English

In a range of recent works, object-centric architectures have been shown to be suitable for unsupervised scene decomposition in the vision domain. Inspired by these methods we present AudioSlots, a slot-centric generative model for blind source separation in the audio domain. AudioSlots is built using permutation-equivariant encoder and decoder networks. The encoder network based on the Transformer architecture learns to map a mixed audio spectrogram to an unordered set of independent source embeddings. The spatial broadcast decoder network learns to generate the source spectrograms from the source embeddings. We train the model in an end-to-end manner using a permutation invariant loss function. Our results on Libri2Mix speech separation constitute a proof of concept that this approach shows promise. We discuss the results and limitations of our approach in detail, and further outline potential ways to overcome the limitations and directions for future work.