SE-DiCoW: Selbstangemeldetes diarisierungsbedingtes Whisper
SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper
January 27, 2026
papers.authors: Alexander Polok, Dominik Klement, Samuele Cornell, Matthew Wiesner, Jan Černocký, Sanjeev Khudanpur, Lukáš Burget
cs.AI
papers.abstract
Die sprecherzugeschriebene automatische Spracherkennung (ASR) in Umgebungen mit mehreren Sprechern bleibt eine große Herausforderung. Während einige Ansätze eine hohe Leistung erzielen, wenn sie auf bestimmte Domänen feinabgestimmt werden, generalisieren nur wenige Systeme gut über domänenfremde Datensätze hinweg. Unsere frühere Arbeit, Diarization-Conditioned Whisper (DiCoW), nutzt die Ausgaben der Sprecherdiarisierung als Konditionierungsinformation und zeigte mit minimaler Feinabstimmung eine starke multilinguale und multidomänale Leistung. In diesem Artikel behandeln wir eine zentrale Einschränkung von DiCoW: die Mehrdeutigkeit in Stille-Zielsprecher-Nichtzielsprecher-Überlappungs-Masken (STNO-Masken), bei denen zwei oder mehr vollständig überlappende Sprecher nahezu identische Konditionierung aufweisen können, obwohl ihre Transkriptionen unterschiedlich sind. Wir stellen SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper) vor, das die Diarisierungsausgabe nutzt, um ein Anmeldesegment irgendwo im Gespräch zu lokalisieren, in dem der Zielsprecher am aktivsten ist. Dieses Anmeldesegment wird über Cross-Attention auf jeder Encoder-Ebene als feste Konditionierung verwendet. Wir verfeinern DiCoW weiter durch verbesserte Datensegmentierung, Modellinitialisierung und Augmentierung. Zusammengenommen führen diese Fortschritte zu erheblichen Verbesserungen: SE-DiCoW reduziert den makrogemittelten tcpWER um 52,4 % im Vergleich zum ursprünglichen DiCoW auf dem EMMA MT-ASR-Benchmark.
English
Speaker-attributed automatic speech recognition (ASR) in multi-speaker environments remains a major challenge. While some approaches achieve strong performance when fine-tuned on specific domains, few systems generalize well across out-of-domain datasets. Our prior work, Diarization-Conditioned Whisper (DiCoW), leverages speaker diarization outputs as conditioning information and, with minimal fine-tuning, demonstrated strong multilingual and multi-domain performance. In this paper, we address a key limitation of DiCoW: ambiguity in Silence-Target-Non-target-Overlap (STNO) masks, where two or more fully overlapping speakers may have nearly identical conditioning despite differing transcriptions. We introduce SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper), which uses diarization output to locate an enrollment segment anywhere in the conversation where the target speaker is most active. This enrollment segment is used as fixed conditioning via cross-attention at each encoder layer. We further refine DiCoW with improved data segmentation, model initialization, and augmentation. Together, these advances yield substantial gains: SE-DiCoW reduces macro-averaged tcpWER by 52.4% relative to the original DiCoW on the EMMA MT-ASR benchmark.