SE-DiCoW: Whisper Condicionado por Diarización con Autoinscripción
SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper
January 27, 2026
Autores: Alexander Polok, Dominik Klement, Samuele Cornell, Matthew Wiesner, Jan Černocký, Sanjeev Khudanpur, Lukáš Burget
cs.AI
Resumen
El reconocimiento automático del habla atribuido al hablante (ASR) en entornos multi-hablante sigue siendo un gran desafío. Si bien algunos enfoques logran un rendimiento sólido cuando se ajustan en dominios específicos, pocos sistemas generalizan bien en conjuntos de datos fuera de dominio. Nuestro trabajo anterior, Diarization-Conditioned Whisper (DiCoW), aprovecha las salidas de la diarización de hablantes como información de condicionamiento y, con un ajuste mínimo, demostró un fuerte rendimiento multilingüe y multi-dominio. En este artículo, abordamos una limitación clave de DiCoW: la ambigüedad en las máscaras Silencio-Objetivo-NoObjetivo-Solapamiento (STNO), donde dos o más hablantes completamente superpuestos pueden tener un condicionamiento casi idéntico a pesar de tener transcripciones diferentes. Presentamos SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper), que utiliza la salida de diarización para localizar un segmento de inscripción en cualquier parte de la conversación donde el hablante objetivo esté más activo. Este segmento de inscripción se utiliza como condicionamiento fijo mediante atención cruzada en cada capa del codificador. Además, refinamos DiCoW con una mejor segmentación de datos, inicialización del modelo y aumento de datos. En conjunto, estos avances producen ganancias sustanciales: SE-DiCoW reduce el tcpWER promedio macro en un 52.4% en relación con el DiCoW original en el benchmark EMMA MT-ASR.
English
Speaker-attributed automatic speech recognition (ASR) in multi-speaker environments remains a major challenge. While some approaches achieve strong performance when fine-tuned on specific domains, few systems generalize well across out-of-domain datasets. Our prior work, Diarization-Conditioned Whisper (DiCoW), leverages speaker diarization outputs as conditioning information and, with minimal fine-tuning, demonstrated strong multilingual and multi-domain performance. In this paper, we address a key limitation of DiCoW: ambiguity in Silence-Target-Non-target-Overlap (STNO) masks, where two or more fully overlapping speakers may have nearly identical conditioning despite differing transcriptions. We introduce SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper), which uses diarization output to locate an enrollment segment anywhere in the conversation where the target speaker is most active. This enrollment segment is used as fixed conditioning via cross-attention at each encoder layer. We further refine DiCoW with improved data segmentation, model initialization, and augmentation. Together, these advances yield substantial gains: SE-DiCoW reduces macro-averaged tcpWER by 52.4% relative to the original DiCoW on the EMMA MT-ASR benchmark.