SE-DiCoW: Whisper Condizionato alla Diarizzazione con Auto-Registrazione
SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper
January 27, 2026
Autori: Alexander Polok, Dominik Klement, Samuele Cornell, Matthew Wiesner, Jan Černocký, Sanjeev Khudanpur, Lukáš Burget
cs.AI
Abstract
Il riconoscimento automatico del parlato con attribuzione del parlante (ASR) in ambienti multi-parlante rimane una sfida significativa. Sebbene alcuni approcci raggiungano prestazioni elevate quando addestrati su domini specifici, pochi sistemi generalizzano efficacemente su dataset fuori dominio. Il nostro lavoro precedente, Diarization-Conditioned Whisper (DiCoW), sfrutta gli output di diarizzazione come informazione di condizionamento e, con un fine-tuning minimo, ha dimostrato solide prestazioni multilingue e multi-dominio. In questo articolo, affrontiamo una limitazione chiave di DiCoW: l'ambiguità nelle maschere Silenzio-Bersaglio-NonBersaglio-Sovrapposizione (STNO), dove due o più parlanti completamente sovrapposti possono avere un condizionamento quasi identico nonostante trascrizioni diverse. Introduciamo SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper), che utilizza l'output di diarizzazione per individuare un segmento di enrollment in qualsiasi punto della conversazione dove il parlante target è più attivo. Questo segmento di enrollment viene utilizzato come condizionamento fisso tramite cross-attention ad ogni livello dell'encoder. Miglioriamo ulteriormente DiCoW con una segmentazione dei dati ottimizzata, un'inizializzazione del modello più efficace e tecniche di data augmentation. Complessivamente, questi progressi portano a guadagni sostanziali: SE-DiCoW riduce la tcpWER mediata macroscopicamente del 52.4% rispetto al DiCoW originale sul benchmark EMMA MT-ASR.
English
Speaker-attributed automatic speech recognition (ASR) in multi-speaker environments remains a major challenge. While some approaches achieve strong performance when fine-tuned on specific domains, few systems generalize well across out-of-domain datasets. Our prior work, Diarization-Conditioned Whisper (DiCoW), leverages speaker diarization outputs as conditioning information and, with minimal fine-tuning, demonstrated strong multilingual and multi-domain performance. In this paper, we address a key limitation of DiCoW: ambiguity in Silence-Target-Non-target-Overlap (STNO) masks, where two or more fully overlapping speakers may have nearly identical conditioning despite differing transcriptions. We introduce SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper), which uses diarization output to locate an enrollment segment anywhere in the conversation where the target speaker is most active. This enrollment segment is used as fixed conditioning via cross-attention at each encoder layer. We further refine DiCoW with improved data segmentation, model initialization, and augmentation. Together, these advances yield substantial gains: SE-DiCoW reduces macro-averaged tcpWER by 52.4% relative to the original DiCoW on the EMMA MT-ASR benchmark.