AudioSlots: Слот-ориентированная генеративная модель для разделения аудио
AudioSlots: A slot-centric generative model for audio separation
May 9, 2023
Авторы: Pradyumna Reddy, Scott Wisdom, Klaus Greff, John R. Hershey, Thomas Kipf
cs.AI
Аннотация
В ряде недавних исследований было показано, что объектно-ориентированные архитектуры подходят для неконтролируемого разложения сцен в области компьютерного зрения. Вдохновленные этими методами, мы представляем AudioSlots — слот-ориентированную генеративную модель для слепого разделения источников в аудиодомене. AudioSlots построена с использованием перестановочно-инвариантных сетей кодировщика и декодировщика. Сеть кодировщика, основанная на архитектуре Transformer, обучается отображать смешанный спектрограмм аудио в неупорядоченный набор независимых эмбеддингов источников. Сеть декодировщика с пространственным вещанием обучается генерировать спектрограммы источников из этих эмбеддингов. Мы обучаем модель сквозным образом, используя перестановочно-инвариантную функцию потерь. Наши результаты на задаче разделения речи Libri2Mix демонстрируют, что данный подход перспективен. Мы подробно обсуждаем результаты и ограничения нашего подхода, а также намечаем потенциальные пути преодоления этих ограничений и направления для будущих исследований.
English
In a range of recent works, object-centric architectures have been shown to
be suitable for unsupervised scene decomposition in the vision domain. Inspired
by these methods we present AudioSlots, a slot-centric generative model for
blind source separation in the audio domain. AudioSlots is built using
permutation-equivariant encoder and decoder networks. The encoder network based
on the Transformer architecture learns to map a mixed audio spectrogram to an
unordered set of independent source embeddings. The spatial broadcast decoder
network learns to generate the source spectrograms from the source embeddings.
We train the model in an end-to-end manner using a permutation invariant loss
function. Our results on Libri2Mix speech separation constitute a proof of
concept that this approach shows promise. We discuss the results and
limitations of our approach in detail, and further outline potential ways to
overcome the limitations and directions for future work.