MLC-SLMチャレンジのためのBUTシステム

要旨

本論文では、Whisperの話者分離条件付きバリアントであるDiCoWと、Pyannoteを基盤とした話者分離パイプラインであるDiariZenを組み合わせた、2話者向け自動音声認識（ASR）システムを提案する。まず、両システムをドメイン外（OOD）の多言語シナリオにおいて、微調整なしで評価した。このシナリオでは、DiariZenがベースラインのPyannote話者分離モデルを一貫して上回り、強力な汎化性能を示した。DiCoWは、ターゲット話者ASR向けに英語データのみで微調整されているにもかかわらず、堅牢な多言語性能を維持しており、エンコーダの変更がWhisperの多言語能力を保持していることを示唆している。次に、DiCoWとDiariZenをMLC-SLMチャレンジデータで微調整した。微調整後のDiariZenは、微調整後のPyannoteベースラインを引き続き上回り、DiCoWはドメイン適応によりさらなる性能向上を達成した。最終システムは、マイクロ平均tcpWER/CERで16.75%を達成し、MLC-SLMチャレンジのタスク2で2位となった。最後に、学習データにおけるいくつかのラベル付けの不整合（例：欠落した音声セグメントや誤った無音注釈）が、話者分離の微調整を妨げる可能性があることを指摘した。これらの問題を解決し、システムの堅牢性を向上させるための簡単な緩和策を提案する。

English

We present a two-speaker automatic speech recognition (ASR) system that combines DiCoW -- a diarization-conditioned variant of Whisper -- with DiariZen, a diarization pipeline built on top of Pyannote. We first evaluate both systems in out-of-domain (OOD) multilingual scenarios without any fine-tuning. In this scenario, DiariZen consistently outperforms the baseline Pyannote diarization model, demonstrating strong generalization. Despite being fine-tuned on English-only data for target-speaker ASR, DiCoW retains solid multilingual performance, indicating that encoder modifications preserve Whisper's multilingual capabilities. We then fine-tune both DiCoW and DiariZen on the MLC-SLM challenge data. The fine-tuned DiariZen continues to outperform the fine-tuned Pyannote baseline, while DiCoW sees further gains from domain adaptation. Our final system achieves a micro-average tcpWER/CER of 16.75% and ranks second in Task 2 of the MLC-SLM challenge. Lastly, we identify several labeling inconsistencies in the training data -- such as missing speech segments and incorrect silence annotations -- which can hinder diarization fine-tuning. We propose simple mitigation strategies to address these issues and improve system robustness.

MLC-SLMチャレンジのためのBUTシステム

BUT System for the MLC-SLM Challenge

要旨

Support