ソムリエ：スケーラブルなオープン・マルチターン音声前処理による全二重音声言語モデルの実現

要旨

AIのパラダイムがテキストベースのLLMから音声言語モデル（SLM）へと移行する中で、リアルタイムかつ自然な人間とコンピュータの対話を実現する全二重システムへの需要が高まっています。しかし、既存の大規模データリソースは単一話者に偏っているか、データ量が限られているため、こうしたモデルの開発は高品質な多話者対話データの不足によって制約を受けています。発話の重複や相槌といった自然対話の複雑なダイナミクスに対処することは依然として課題であり、標準的な処理パイプラインは話者分離エラーやASRの幻覚に悩まされています。このギャップを埋めるため、我々は全二重モデル向けに設計された、堅牢かつスケーラブルなオープンソースのデータ処理パイプラインを提案します。

English

As the paradigm of AI shifts from text-based LLMs to Speech Language Models (SLMs), there is a growing demand for full-duplex systems capable of real-time, natural human-computer interaction. However, the development of such models is constrained by the scarcity of high-quality, multi-speaker conversational data, as existing large-scale resources are predominantly single-speaker or limited in volume. Addressing the complex dynamics of natural dialogue, such as overlapping and back-channeling remains a challenge, with standard processing pipelines suffering from diarization errors and ASR hallucinations. To bridge this gap, we present a robust and scalable open-source data processing pipeline designed for full-duplex model.

ソムリエ：スケーラブルなオープン・マルチターン音声前処理による全二重音声言語モデルの実現

Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models

要旨

Support