AudioSlots: Un modello generativo centrato sugli slot per la separazione audio

AudioSlots: A slot-centric generative model for audio separation

May 9, 2023

Autori: Pradyumna Reddy, Scott Wisdom, Klaus Greff, John R. Hershey, Thomas Kipf

cs.AI

Abstract

In una serie di lavori recenti, le architetture object-centric si sono dimostrate adatte per la scomposizione non supervisionata di scene nel dominio visivo. Ispirati da questi metodi, presentiamo AudioSlots, un modello generativo slot-centric per la separazione cieca delle sorgenti nel dominio audio. AudioSlots è costruito utilizzando reti codificatrici e decodificatrici permutazione-equivarianti. La rete codificatrice, basata sull'architettura Transformer, apprende a mappare uno spettrogramma audio misto in un insieme non ordinato di embedding di sorgenti indipendenti. La rete decodificatrice a trasmissione spaziale apprende a generare gli spettrogrammi delle sorgenti a partire dagli embedding delle sorgenti. Addestriamo il modello in modo end-to-end utilizzando una funzione di perdita invariante alle permutazioni. I nostri risultati sulla separazione del parlato in Libri2Mix costituiscono una prova del concetto che questo approccio mostra potenziale. Discutiamo in dettaglio i risultati e i limiti del nostro approccio, e delineiamo ulteriormente potenziali modi per superare i limiti e direzioni per lavori futuri.

English

In a range of recent works, object-centric architectures have been shown to be suitable for unsupervised scene decomposition in the vision domain. Inspired by these methods we present AudioSlots, a slot-centric generative model for blind source separation in the audio domain. AudioSlots is built using permutation-equivariant encoder and decoder networks. The encoder network based on the Transformer architecture learns to map a mixed audio spectrogram to an unordered set of independent source embeddings. The spatial broadcast decoder network learns to generate the source spectrograms from the source embeddings. We train the model in an end-to-end manner using a permutation invariant loss function. Our results on Libri2Mix speech separation constitute a proof of concept that this approach shows promise. We discuss the results and limitations of our approach in detail, and further outline potential ways to overcome the limitations and directions for future work.