BUT-System für die MLC-SLM-Herausforderung

Zusammenfassung

Wir präsentieren ein Zwei-Sprecher-Automatic-Speech-Recognition (ASR)-System, das DiCoW – eine diarization-konditionierte Variante von Whisper – mit DiariZen, einer auf Pyannote basierenden Diarization-Pipeline, kombiniert. Zunächst evaluieren wir beide Systeme in out-of-domain (OOD) mehrsprachigen Szenarien ohne jegliches Fine-Tuning. In diesem Szenario übertrifft DiariZen durchweg das Baseline-Pyannote-Diarization-Modell und zeigt eine starke Generalisierungsfähigkeit. Obwohl DiCoW ausschließlich auf englischen Daten für Target-Speaker-ASR feinabgestimmt wurde, behält es eine solide mehrsprachige Leistung bei, was darauf hindeutet, dass die Encoder-Modifikationen die mehrsprachigen Fähigkeiten von Whisper bewahren. Anschließend passen wir sowohl DiCoW als auch DiariZen an die Daten der MLC-SLM-Challenge an. Das feinabgestimmte DiariZen übertrifft weiterhin das feinabgestimmte Pyannote-Baseline-Modell, während DiCoW zusätzliche Verbesserungen durch die Domänenanpassung erzielt. Unser finales System erreicht einen Mikro-Durchschnitt von tcpWER/CER von 16,75 % und belegt den zweiten Platz in Aufgabe 2 der MLC-SLM-Challenge. Schließlich identifizieren wir mehrere Inkonsistenzen in den Trainingsdaten – wie fehlende Sprachsegmente und falsche Stille-Annotationen –, die das Fine-Tuning der Diarization behindern können. Wir schlagen einfache Strategien zur Minderung dieser Probleme vor, um die Robustheit des Systems zu verbessern.

English

We present a two-speaker automatic speech recognition (ASR) system that combines DiCoW -- a diarization-conditioned variant of Whisper -- with DiariZen, a diarization pipeline built on top of Pyannote. We first evaluate both systems in out-of-domain (OOD) multilingual scenarios without any fine-tuning. In this scenario, DiariZen consistently outperforms the baseline Pyannote diarization model, demonstrating strong generalization. Despite being fine-tuned on English-only data for target-speaker ASR, DiCoW retains solid multilingual performance, indicating that encoder modifications preserve Whisper's multilingual capabilities. We then fine-tune both DiCoW and DiariZen on the MLC-SLM challenge data. The fine-tuned DiariZen continues to outperform the fine-tuned Pyannote baseline, while DiCoW sees further gains from domain adaptation. Our final system achieves a micro-average tcpWER/CER of 16.75% and ranks second in Task 2 of the MLC-SLM challenge. Lastly, we identify several labeling inconsistencies in the training data -- such as missing speech segments and incorrect silence annotations -- which can hinder diarization fine-tuning. We propose simple mitigation strategies to address these issues and improve system robustness.

BUT-System für die MLC-SLM-Herausforderung

BUT System for the MLC-SLM Challenge

Zusammenfassung

Support