Sistema BUT per la MLC-SLM Challenge

Abstract

Presentiamo un sistema di riconoscimento automatico del parlato (ASR) per due parlanti che combina DiCoW -- una variante di Whisper condizionata alla diarizzazione -- con DiariZen, una pipeline di diarizzazione costruita su Pyannote. Valutiamo inizialmente entrambi i sistemi in scenari multilingue out-of-domain (OOD) senza alcun fine-tuning. In questo contesto, DiariZen supera costantemente il modello di diarizzazione Pyannote di riferimento, dimostrando una forte capacità di generalizzazione. Nonostante sia stato sottoposto a fine-tuning su dati esclusivamente in inglese per l'ASR del parlante target, DiCoW mantiene solide prestazioni multilingue, indicando che le modifiche all'encoder preservano le capacità multilingue di Whisper. Successivamente, sottoponiamo a fine-tuning sia DiCoW che DiariZen sui dati della challenge MLC-SLM. DiariZen fine-tuned continua a superare il baseline Pyannote fine-tuned, mentre DiCoW ottiene ulteriori miglioramenti grazie all'adattamento al dominio. Il nostro sistema finale raggiunge un tcpWER/CER micro-medio del 16,75% e si classifica al secondo posto nel Task 2 della challenge MLC-SLM. Infine, identifichiamo diverse incoerenze di etichettatura nei dati di training -- come segmenti vocali mancanti e annotazioni di silenzio errate -- che possono ostacolare il fine-tuning della diarizzazione. Proponiamo semplici strategie di mitigazione per affrontare questi problemi e migliorare la robustezza del sistema.

English

We present a two-speaker automatic speech recognition (ASR) system that combines DiCoW -- a diarization-conditioned variant of Whisper -- with DiariZen, a diarization pipeline built on top of Pyannote. We first evaluate both systems in out-of-domain (OOD) multilingual scenarios without any fine-tuning. In this scenario, DiariZen consistently outperforms the baseline Pyannote diarization model, demonstrating strong generalization. Despite being fine-tuned on English-only data for target-speaker ASR, DiCoW retains solid multilingual performance, indicating that encoder modifications preserve Whisper's multilingual capabilities. We then fine-tune both DiCoW and DiariZen on the MLC-SLM challenge data. The fine-tuned DiariZen continues to outperform the fine-tuned Pyannote baseline, while DiCoW sees further gains from domain adaptation. Our final system achieves a micro-average tcpWER/CER of 16.75% and ranks second in Task 2 of the MLC-SLM challenge. Lastly, we identify several labeling inconsistencies in the training data -- such as missing speech segments and incorrect silence annotations -- which can hinder diarization fine-tuning. We propose simple mitigation strategies to address these issues and improve system robustness.

Sistema BUT per la MLC-SLM Challenge

BUT System for the MLC-SLM Challenge

Abstract

Support