Сомелье: Масштабируемая открытая многозадачная аудиоподготовка для полнодуплексных речевых языковых моделей
Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models
March 20, 2026
Авторы: Kyudan Jung, Jihwan Kim, Soyoon Kim, Jeongoon Kim, Jaegul Choo, Cheonbok Park
cs.AI
Аннотация
По мере смены парадигмы ИИ от текстовых больших языковых моделей (LLM) к речевым языковым моделям (SLM) растет спрос на полнодуплексные системы, способные к естественному человеко-машинному взаимодействию в реальном времени. Однако разработка таких моделей ограничена нехваткой высококачественных данных многосторонних бесед, поскольку существующие крупномасштабные ресурсы в основном содержат речь одного человека или ограничены по объему. Решение сложных динамических аспектов естественного диалога, таких как наложение реплик и обратная связь, остается проблемой, поскольку стандартные конвейеры обработки страдают от ошибок диаризации и галлюцинаций систем автоматического распознавания речи (ASR). Для преодоления этого разрыва мы представляем надежный и масштабируемый конвейер обработки данных с открытым исходным кодом, разработанный для полнодуплексных моделей.
English
As the paradigm of AI shifts from text-based LLMs to Speech Language Models (SLMs), there is a growing demand for full-duplex systems capable of real-time, natural human-computer interaction. However, the development of such models is constrained by the scarcity of high-quality, multi-speaker conversational data, as existing large-scale resources are predominantly single-speaker or limited in volume. Addressing the complex dynamics of natural dialogue, such as overlapping and back-channeling remains a challenge, with standard processing pipelines suffering from diarization errors and ASR hallucinations. To bridge this gap, we present a robust and scalable open-source data processing pipeline designed for full-duplex model.