AudioSlots: Um modelo generativo centrado em slots para separação de áudio

AudioSlots: A slot-centric generative model for audio separation

May 9, 2023

Autores: Pradyumna Reddy, Scott Wisdom, Klaus Greff, John R. Hershey, Thomas Kipf

cs.AI

Resumo

Em uma série de trabalhos recentes, arquiteturas centradas em objetos têm se mostrado adequadas para a decomposição não supervisionada de cenas no domínio da visão. Inspirados por esses métodos, apresentamos o AudioSlots, um modelo generativo centrado em slots para a separação cega de fontes no domínio do áudio. O AudioSlots é construído utilizando redes codificadoras e decodificadoras permutação-equivariantes. A rede codificadora, baseada na arquitetura Transformer, aprende a mapear um espectrograma de áudio misto para um conjunto não ordenado de embeddings de fontes independentes. A rede decodificadora de difusão espacial aprende a gerar os espectrogramas das fontes a partir dos embeddings das fontes. Treinamos o modelo de ponta a ponta utilizando uma função de perda invariante à permutação. Nossos resultados na separação de fala do Libri2Mix constituem uma prova de conceito de que essa abordagem é promissora. Discutimos os resultados e as limitações de nossa abordagem em detalhes, e ainda delineamos possíveis maneiras de superar as limitações e direções para trabalhos futuros.

English

In a range of recent works, object-centric architectures have been shown to be suitable for unsupervised scene decomposition in the vision domain. Inspired by these methods we present AudioSlots, a slot-centric generative model for blind source separation in the audio domain. AudioSlots is built using permutation-equivariant encoder and decoder networks. The encoder network based on the Transformer architecture learns to map a mixed audio spectrogram to an unordered set of independent source embeddings. The spatial broadcast decoder network learns to generate the source spectrograms from the source embeddings. We train the model in an end-to-end manner using a permutation invariant loss function. Our results on Libri2Mix speech separation constitute a proof of concept that this approach shows promise. We discuss the results and limitations of our approach in detail, and further outline potential ways to overcome the limitations and directions for future work.