Le Défi de Reconnaissance de Locuteurs VoxCeleb : Une Rétrospective

The VoxCeleb Speaker Recognition Challenge: A Retrospective

August 27, 2024

Auteurs: Jaesung Huh, Joon Son Chung, Arsha Nagrani, Andrew Brown, Jee-weon Jung, Daniel Garcia-Romero, Andrew Zisserman

cs.AI

Résumé

Les Défis de Reconnaissance des Locuteurs VoxCeleb (VoxSRC) étaient une série de défis et d'ateliers organisés annuellement de 2019 à 2023. Les défis évaluaient principalement les tâches de reconnaissance des locuteurs et de diarisation dans divers contextes, incluant : des données d'entraînement fermées et ouvertes ; ainsi que des entraînements supervisés, auto-supervisés et semi-supervisés pour l'adaptation de domaine. Les défis mettaient également à disposition des ensembles de données d'entraînement et d'évaluation publiquement accessibles pour chaque tâche et contexte, avec de nouveaux ensembles de tests publiés chaque année. Dans cet article, nous proposons une revue de ces défis qui couvre : ce qu'ils ont exploré ; les méthodes développées par les participants aux défis et comment elles ont évolué ; ainsi que l'état actuel du domaine de la vérification des locuteurs et de la diarisation. Nous suivons les progrès de performance sur les cinq éditions du défi sur un ensemble de données d'évaluation commun et fournissons une analyse détaillée de l'impact du focus spécial de chaque année sur la performance des participants. Cet article s'adresse à la fois aux chercheurs qui souhaitent avoir un aperçu du domaine de la reconnaissance des locuteurs et de la diarisation, ainsi qu'aux organisateurs de défis qui souhaitent tirer parti des succès et éviter les erreurs des défis VoxSRC. Nous concluons par une discussion sur les forces actuelles du domaine et les défis ouverts. Page du projet : https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html

English

The VoxCeleb Speaker Recognition Challenges (VoxSRC) were a series of challenges and workshops that ran annually from 2019 to 2023. The challenges primarily evaluated the tasks of speaker recognition and diarisation under various settings including: closed and open training data; as well as supervised, self-supervised, and semi-supervised training for domain adaptation. The challenges also provided publicly available training and evaluation datasets for each task and setting, with new test sets released each year. In this paper, we provide a review of these challenges that covers: what they explored; the methods developed by the challenge participants and how these evolved; and also the current state of the field for speaker verification and diarisation. We chart the progress in performance over the five installments of the challenge on a common evaluation dataset and provide a detailed analysis of how each year's special focus affected participants' performance. This paper is aimed both at researchers who want an overview of the speaker recognition and diarisation field, and also at challenge organisers who want to benefit from the successes and avoid the mistakes of the VoxSRC challenges. We end with a discussion of the current strengths of the field and open challenges. Project page : https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html