BUT-systeem voor de MLC-SLM Challenge

BUT System for the MLC-SLM Challenge

June 16, 2025

Auteurs: Alexander Polok, Jiangyu Han, Dominik Klement, Samuele Cornell, Jan Černocký, Lukáš Burget

cs.AI

Samenvatting

We presenteren een automatisch spraakherkenningssysteem (ASR) voor twee sprekers dat DiCoW combineert -- een diarization-geconditioneerde variant van Whisper -- met DiariZen, een diarization-pipeline gebouwd op Pyannote. We evalueren eerst beide systemen in out-of-domain (OOD) meertalige scenario's zonder enige fine-tuning. In dit scenario presteert DiariZen consistent beter dan het baseline Pyannote-diarizationmodel, wat een sterke generalisatie aantoont. Ondanks dat DiCoW alleen op Engelstalige data is getraind voor doelspreker-ASR, behoudt het een solide meertalige prestaties, wat aangeeft dat aanpassingen aan de encoder de meertalige mogelijkheden van Whisper behouden. Vervolgens fine-tunen we zowel DiCoW als DiariZen op de MLC-SLM challenge-data. De gefinetunde DiariZen blijft het gefinetunde Pyannote-baselinemodel overtreffen, terwijl DiCoW verdere verbeteringen ziet door domeinaanpassing. Ons uiteindelijke systeem behaalt een micro-gemiddelde tcpWER/CER van 16,75% en eindigt als tweede in Taak 2 van de MLC-SLM challenge. Tot slot identificeren we verschillende inconsistenties in de labeling van de trainingsdata -- zoals ontbrekende spraaksegmenten en onjuiste stilteannotaties -- die de fine-tuning van diarization kunnen belemmeren. We stellen eenvoudige mitigatiestrategieën voor om deze problemen aan te pakken en de robuustheid van het systeem te verbeteren.

English

We present a two-speaker automatic speech recognition (ASR) system that combines DiCoW -- a diarization-conditioned variant of Whisper -- with DiariZen, a diarization pipeline built on top of Pyannote. We first evaluate both systems in out-of-domain (OOD) multilingual scenarios without any fine-tuning. In this scenario, DiariZen consistently outperforms the baseline Pyannote diarization model, demonstrating strong generalization. Despite being fine-tuned on English-only data for target-speaker ASR, DiCoW retains solid multilingual performance, indicating that encoder modifications preserve Whisper's multilingual capabilities. We then fine-tune both DiCoW and DiariZen on the MLC-SLM challenge data. The fine-tuned DiariZen continues to outperform the fine-tuned Pyannote baseline, while DiCoW sees further gains from domain adaptation. Our final system achieves a micro-average tcpWER/CER of 16.75% and ranks second in Task 2 of the MLC-SLM challenge. Lastly, we identify several labeling inconsistencies in the training data -- such as missing speech segments and incorrect silence annotations -- which can hinder diarization fine-tuning. We propose simple mitigation strategies to address these issues and improve system robustness.