AudioSlots: 오디오 분리를 위한 슬롯 중심 생성 모델
AudioSlots: A slot-centric generative model for audio separation
May 9, 2023
저자: Pradyumna Reddy, Scott Wisdom, Klaus Greff, John R. Hershey, Thomas Kipf
cs.AI
초록
최근 여러 연구에서 객체 중심 아키텍처가 비전 도메인에서의 비지도 장면 분해에 적합함이 입증되었습니다. 이러한 방법들에서 영감을 받아, 우리는 오디오 도메인에서의 블라인드 소스 분리를 위한 슬롯 중심 생성 모델인 AudioSlots를 제안합니다. AudioSlots는 순열 등변(permutation-equivariant) 인코더 및 디코더 네트워크를 사용하여 구축되었습니다. Transformer 아키텍처를 기반으로 한 인코더 네트워크는 혼합된 오디오 스펙트로그램을 순서 없는 독립적인 소스 임베딩 집합으로 매핑하는 방법을 학습합니다. 공간 방송 디코더 네트워크는 소스 임베딩에서 소스 스펙트로그램을 생성하는 방법을 학습합니다. 우리는 순열 불변 손실 함수를 사용하여 이 모델을 종단 간(end-to-end) 방식으로 학습시켰습니다. Libri2Mix 음성 분리 실험 결과는 이 접근 방식이 유망함을 보여주는 개념 증명입니다. 우리는 이 접근 방식의 결과와 한계를 상세히 논의하고, 이러한 한계를 극복할 수 있는 잠재적인 방법과 향후 연구 방향을 제시합니다.
English
In a range of recent works, object-centric architectures have been shown to
be suitable for unsupervised scene decomposition in the vision domain. Inspired
by these methods we present AudioSlots, a slot-centric generative model for
blind source separation in the audio domain. AudioSlots is built using
permutation-equivariant encoder and decoder networks. The encoder network based
on the Transformer architecture learns to map a mixed audio spectrogram to an
unordered set of independent source embeddings. The spatial broadcast decoder
network learns to generate the source spectrograms from the source embeddings.
We train the model in an end-to-end manner using a permutation invariant loss
function. Our results on Libri2Mix speech separation constitute a proof of
concept that this approach shows promise. We discuss the results and
limitations of our approach in detail, and further outline potential ways to
overcome the limitations and directions for future work.