O Desafio de Reconhecimento de Orador VoxCeleb: Uma Retrospectiva

The VoxCeleb Speaker Recognition Challenge: A Retrospective

August 27, 2024

Autores: Jaesung Huh, Joon Son Chung, Arsha Nagrani, Andrew Brown, Jee-weon Jung, Daniel Garcia-Romero, Andrew Zisserman

cs.AI

Resumo

Os Desafios de Reconhecimento de Oradores VoxCeleb (VoxSRC) foram uma série de desafios e workshops realizados anualmente de 2019 a 2023. Os desafios avaliaram principalmente as tarefas de reconhecimento de oradores e diarização em diversos cenários, incluindo: dados de treinamento fechados e abertos; bem como treinamento supervisionado, auto-supervisionado e semi-supervisionado para adaptação de domínio. Os desafios também disponibilizaram conjuntos de dados de treinamento e avaliação publicamente para cada tarefa e cenário, com novos conjuntos de teste lançados a cada ano. Neste artigo, fornecemos uma revisão desses desafios que abrange: o que eles exploraram; os métodos desenvolvidos pelos participantes do desafio e como evoluíram; e também o estado atual do campo para verificação de oradores e diarização. Nós acompanhamos o progresso no desempenho ao longo das cinco edições do desafio em um conjunto de dados de avaliação comum e fornecemos uma análise detalhada de como o foco especial de cada ano afetou o desempenho dos participantes. Este artigo é destinado tanto a pesquisadores que desejam ter uma visão geral do campo de reconhecimento de oradores e diarização, quanto a organizadores de desafios que desejam se beneficiar dos sucessos e evitar os erros dos desafios VoxSRC. Concluímos com uma discussão sobre os pontos fortes atuais do campo e os desafios em aberto. Página do projeto: https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html

English

The VoxCeleb Speaker Recognition Challenges (VoxSRC) were a series of challenges and workshops that ran annually from 2019 to 2023. The challenges primarily evaluated the tasks of speaker recognition and diarisation under various settings including: closed and open training data; as well as supervised, self-supervised, and semi-supervised training for domain adaptation. The challenges also provided publicly available training and evaluation datasets for each task and setting, with new test sets released each year. In this paper, we provide a review of these challenges that covers: what they explored; the methods developed by the challenge participants and how these evolved; and also the current state of the field for speaker verification and diarisation. We chart the progress in performance over the five installments of the challenge on a common evaluation dataset and provide a detailed analysis of how each year's special focus affected participants' performance. This paper is aimed both at researchers who want an overview of the speaker recognition and diarisation field, and also at challenge organisers who want to benefit from the successes and avoid the mistakes of the VoxSRC challenges. We end with a discussion of the current strengths of the field and open challenges. Project page : https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html