Die VoxCeleb Sprechererkennungs-Herausforderung: Eine Rückschau

The VoxCeleb Speaker Recognition Challenge: A Retrospective

August 27, 2024

Autoren: Jaesung Huh, Joon Son Chung, Arsha Nagrani, Andrew Brown, Jee-weon Jung, Daniel Garcia-Romero, Andrew Zisserman

cs.AI

Zusammenfassung

Die VoxCeleb Sprechererkennungsherausforderungen (VoxSRC) waren eine Serie von Herausforderungen und Workshops, die jährlich von 2019 bis 2023 stattfanden. Die Herausforderungen bewerteten hauptsächlich die Aufgaben der Sprechererkennung und Diarisation unter verschiedenen Einstellungen, einschließlich geschlossener und offener Trainingsdaten, sowie überwachtem, selbstüberwachtem und halbüberwachtem Training für die Domänenanpassung. Die Herausforderungen stellten auch öffentlich verfügbare Trainings- und Evaluierungsdatensätze für jede Aufgabe und Einstellung bereit, wobei jedes Jahr neue Testsets veröffentlicht wurden. In diesem Artikel bieten wir eine Überprüfung dieser Herausforderungen an, die folgende Punkte abdeckt: was erforscht wurde; die von den Teilnehmern der Herausforderung entwickelten Methoden und wie sich diese entwickelten; sowie den aktuellen Stand des Feldes für Sprecherüberprüfung und Diarisation. Wir verfolgen den Fortschritt in der Leistung über die fünf Ausgaben der Herausforderung auf einem gemeinsamen Evaluierungsdatensatz und bieten eine detaillierte Analyse, wie der spezielle Fokus jedes Jahres die Leistung der Teilnehmer beeinflusst hat. Dieser Artikel richtet sich sowohl an Forscher, die einen Überblick über das Feld der Sprechererkennung und Diarisation wünschen, als auch an Herausforderungsorganisatoren, die von den Erfolgen profitieren und Fehler der VoxSRC-Herausforderungen vermeiden möchten. Wir schließen mit einer Diskussion über die aktuellen Stärken des Feldes und offene Herausforderungen. Projektseite: https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html

English

The VoxCeleb Speaker Recognition Challenges (VoxSRC) were a series of challenges and workshops that ran annually from 2019 to 2023. The challenges primarily evaluated the tasks of speaker recognition and diarisation under various settings including: closed and open training data; as well as supervised, self-supervised, and semi-supervised training for domain adaptation. The challenges also provided publicly available training and evaluation datasets for each task and setting, with new test sets released each year. In this paper, we provide a review of these challenges that covers: what they explored; the methods developed by the challenge participants and how these evolved; and also the current state of the field for speaker verification and diarisation. We chart the progress in performance over the five installments of the challenge on a common evaluation dataset and provide a detailed analysis of how each year's special focus affected participants' performance. This paper is aimed both at researchers who want an overview of the speaker recognition and diarisation field, and also at challenge organisers who want to benefit from the successes and avoid the mistakes of the VoxSRC challenges. We end with a discussion of the current strengths of the field and open challenges. Project page : https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html