Вызов по распознаванию дикторов VoxCeleb: ретроспектива

The VoxCeleb Speaker Recognition Challenge: A Retrospective

August 27, 2024

Авторы: Jaesung Huh, Joon Son Chung, Arsha Nagrani, Andrew Brown, Jee-weon Jung, Daniel Garcia-Romero, Andrew Zisserman

cs.AI

Аннотация

Соревнования по распознаванию дикторов VoxCeleb Speaker Recognition Challenges (VoxSRC) были серией ежегодных челленджей и семинаров, которые проходили с 2019 по 2023 год. Основной задачей соревнований было оценка задач распознавания дикторов и диаризации в различных условиях, включая: закрытые и открытые обучающие данные; а также обучение с учителем, самообучение и полу-самообучение для адаптации к домену. Соревнования также предоставляли общедоступные обучающие и оценочные наборы данных для каждой задачи и условия, с выпуском новых тестовых наборов каждый год. В данной статье мы предоставляем обзор этих соревнований, охватывающий: что было исследовано; методы, разработанные участниками соревнования и их эволюцию; а также текущее состояние области верификации дикторов и диаризации. Мы отслеживаем прогресс в производительности за пять выпусков соревнования на общем наборе данных для оценки и предоставляем детальный анализ того, как специальное внимание каждого года влияло на производительность участников. Данная статья предназначена как для исследователей, желающих получить обзор области распознавания дикторов и диаризации, так и для организаторов соревнований, которые хотят воспользоваться успехами и избежать ошибок соревнований VoxSRC. Мы завершаем обсуждением текущих сильных сторон области и открытых задач. Страница проекта: https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html

English

The VoxCeleb Speaker Recognition Challenges (VoxSRC) were a series of challenges and workshops that ran annually from 2019 to 2023. The challenges primarily evaluated the tasks of speaker recognition and diarisation under various settings including: closed and open training data; as well as supervised, self-supervised, and semi-supervised training for domain adaptation. The challenges also provided publicly available training and evaluation datasets for each task and setting, with new test sets released each year. In this paper, we provide a review of these challenges that covers: what they explored; the methods developed by the challenge participants and how these evolved; and also the current state of the field for speaker verification and diarisation. We chart the progress in performance over the five installments of the challenge on a common evaluation dataset and provide a detailed analysis of how each year's special focus affected participants' performance. This paper is aimed both at researchers who want an overview of the speaker recognition and diarisation field, and also at challenge organisers who want to benefit from the successes and avoid the mistakes of the VoxSRC challenges. We end with a discussion of the current strengths of the field and open challenges. Project page : https://mm.kaist.ac.kr/datasets/voxceleb/voxsrc/workshop.html