SE-DiCoW: Zelf-ingeschreven diarisatie-geconditioneerde Whisper
SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper
January 27, 2026
Auteurs: Alexander Polok, Dominik Klement, Samuele Cornell, Matthew Wiesner, Jan Černocký, Sanjeev Khudanpur, Lukáš Burget
cs.AI
Samenvatting
Spreker-toegeschreven automatische spraakherkenning (ASR) in omgevingen met meerdere sprekers blijft een grote uitdaging. Hoewel sommige benaderingen sterke prestaties bereiken wanneer ze worden afgestemd op specifieke domeinen, generaliseren weinig systemen goed over verschillende niet-domeinspecifieke datasets. Ons eerdere werk, Diarization-Conditioned Whisper (DiCoW), gebruikt speaker-diarisatie-uitvoer als conditioneringsinformatie en toonde met minimale afstemming sterke meertalige en multidomeinprestaties. In dit artikel pakken we een belangrijke beperking van DiCoW aan: ambiguïteit in Silence-Target-Non-target-Overlap (STNO)-maskers, waarbij twee of meer volledig overlappende sprekers nagenoeg identieke conditionering kunnen hebben ondanks verschillende transcripties. We introduceren SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper), dat diarisatie-uitvoer gebruikt om een inschrijfsegment te lokaliseren ergens in het gesprek waar de doelspreker het meest actief is. Dit inschrijfsegment wordt gebruikt als vaste conditionering via cross-attention in elke encoderlaag. We verfijnen DiCoW verder met verbeterde datasegmentatie, modelinitialisatie en augmentatie. Gezamenlijk leveren deze verbeteringen aanzienlijke winst op: SE-DiCoW reduceert de macro-gemiddelde tcpWER met 52,4% ten opzichte van de originele DiCoW op de EMMA MT-ASR-benchmark.
English
Speaker-attributed automatic speech recognition (ASR) in multi-speaker environments remains a major challenge. While some approaches achieve strong performance when fine-tuned on specific domains, few systems generalize well across out-of-domain datasets. Our prior work, Diarization-Conditioned Whisper (DiCoW), leverages speaker diarization outputs as conditioning information and, with minimal fine-tuning, demonstrated strong multilingual and multi-domain performance. In this paper, we address a key limitation of DiCoW: ambiguity in Silence-Target-Non-target-Overlap (STNO) masks, where two or more fully overlapping speakers may have nearly identical conditioning despite differing transcriptions. We introduce SE-DiCoW (Self-Enrolled Diarization-Conditioned Whisper), which uses diarization output to locate an enrollment segment anywhere in the conversation where the target speaker is most active. This enrollment segment is used as fixed conditioning via cross-attention at each encoder layer. We further refine DiCoW with improved data segmentation, model initialization, and augmentation. Together, these advances yield substantial gains: SE-DiCoW reduces macro-averaged tcpWER by 52.4% relative to the original DiCoW on the EMMA MT-ASR benchmark.