El Desafío de Reconocimiento de Oradores de VoxCeleb: Una Retrospectiva

The VoxCeleb Speaker Recognition Challenge: A Retrospective

August 27, 2024

Autores: Jaesung Huh, Joon Son Chung, Arsha Nagrani, Andrew Brown, Jee-weon Jung, Daniel Garcia-Romero, Andrew Zisserman

cs.AI

Resumen

Los Desafíos de Reconocimiento de Oradores VoxCeleb (VoxSRC) fueron una serie de desafíos y talleres que se llevaron a cabo anualmente desde 2019 hasta 2023. Los desafíos evaluaron principalmente las tareas de reconocimiento de oradores y diarización en diversos entornos, incluyendo: datos de entrenamiento cerrados y abiertos; así como entrenamiento supervisado, auto-supervisado y semi-supervisado para adaptación de dominio. Los desafíos también proporcionaron conjuntos de datos de entrenamiento y evaluación públicamente disponibles para cada tarea y configuración, con nuevos conjuntos de pruebas lanzados cada año. En este documento, ofrecemos una revisión de estos desafíos que abarca: lo que exploraron; los métodos desarrollados por los participantes del desafío y cómo evolucionaron; y también el estado actual del campo para la verificación de oradores y diarización. Registramos el progreso en el rendimiento a lo largo de las cinco ediciones del desafío en un conjunto de datos de evaluación común y proporcionamos un análisis detallado de cómo el enfoque especial de cada año afectó el rendimiento de los participantes. Este documento está dirigido tanto a investigadores que deseen tener una visión general del campo de reconocimiento de oradores y diarización, como a organizadores de desafíos que deseen beneficiarse de los éxitos y evitar los errores de los desafíos VoxSRC. Concluimos con una discusión sobre las fortalezas actuales del campo y los desafíos abiertos. Página del proyecto: https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html

English

The VoxCeleb Speaker Recognition Challenges (VoxSRC) were a series of challenges and workshops that ran annually from 2019 to 2023. The challenges primarily evaluated the tasks of speaker recognition and diarisation under various settings including: closed and open training data; as well as supervised, self-supervised, and semi-supervised training for domain adaptation. The challenges also provided publicly available training and evaluation datasets for each task and setting, with new test sets released each year. In this paper, we provide a review of these challenges that covers: what they explored; the methods developed by the challenge participants and how these evolved; and also the current state of the field for speaker verification and diarisation. We chart the progress in performance over the five installments of the challenge on a common evaluation dataset and provide a detailed analysis of how each year's special focus affected participants' performance. This paper is aimed both at researchers who want an overview of the speaker recognition and diarisation field, and also at challenge organisers who want to benefit from the successes and avoid the mistakes of the VoxSRC challenges. We end with a discussion of the current strengths of the field and open challenges. Project page : https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html