Sistema BUT para o Desafio MLC-SLM

BUT System for the MLC-SLM Challenge

June 16, 2025

Autores: Alexander Polok, Jiangyu Han, Dominik Klement, Samuele Cornell, Jan Černocký, Lukáš Burget

cs.AI

Resumo

Apresentamos um sistema de reconhecimento automático de fala (ASR) para dois falantes que combina o DiCoW -- uma variante do Whisper condicionada à diarização -- com o DiariZen, um pipeline de diarização construído sobre o Pyannote. Primeiro, avaliamos ambos os sistemas em cenários multilíngues fora do domínio (OOD) sem qualquer ajuste fino. Nesse cenário, o DiariZen supera consistentemente o modelo de diarização Pyannote de referência, demonstrando forte generalização. Apesar de ter sido ajustado apenas em dados em inglês para ASR de falante-alvo, o DiCoW mantém um desempenho multilíngue sólido, indicando que as modificações no codificador preservam as capacidades multilíngues do Whisper. Em seguida, ajustamos tanto o DiCoW quanto o DiariZen nos dados do desafio MLC-SLM. O DiariZen ajustado continua a superar a linha de base do Pyannote ajustado, enquanto o DiCoW obtém ganhos adicionais com a adaptação ao domínio. Nosso sistema final alcança uma média micro de tcpWER/CER de 16,75% e ocupa o segundo lugar na Tarefa 2 do desafio MLC-SLM. Por fim, identificamos várias inconsistências de rotulagem nos dados de treinamento -- como segmentos de fala ausentes e anotações incorretas de silêncio -- que podem prejudicar o ajuste fino da diarização. Propomos estratégias simples de mitigação para abordar esses problemas e melhorar a robustez do sistema.

English

We present a two-speaker automatic speech recognition (ASR) system that combines DiCoW -- a diarization-conditioned variant of Whisper -- with DiariZen, a diarization pipeline built on top of Pyannote. We first evaluate both systems in out-of-domain (OOD) multilingual scenarios without any fine-tuning. In this scenario, DiariZen consistently outperforms the baseline Pyannote diarization model, demonstrating strong generalization. Despite being fine-tuned on English-only data for target-speaker ASR, DiCoW retains solid multilingual performance, indicating that encoder modifications preserve Whisper's multilingual capabilities. We then fine-tune both DiCoW and DiariZen on the MLC-SLM challenge data. The fine-tuned DiariZen continues to outperform the fine-tuned Pyannote baseline, while DiCoW sees further gains from domain adaptation. Our final system achieves a micro-average tcpWER/CER of 16.75% and ranks second in Task 2 of the MLC-SLM challenge. Lastly, we identify several labeling inconsistencies in the training data -- such as missing speech segments and incorrect silence annotations -- which can hinder diarization fine-tuning. We propose simple mitigation strategies to address these issues and improve system robustness.