Sommelier: Pré-processamento de Áudio Multi-turn Aberto e Escalável para Modelos de Linguagem de Fala Full-duplex

Resumo

À medida que o paradigma da IA transita de LLMs baseados em texto para Modelos de Linguagem de Fala (SLMs), cresce a demanda por sistemas de dupla capacidade (full-duplex) capazes de interação homem-máquina natural e em tempo real. No entanto, o desenvolvimento de tais modelos é limitado pela escassez de dados conversacionais de alta qualidade e com múltiplos interlocutores, uma vez que os recursos em larga escala existentes são predominantemente de um único falante ou de volume limitado. Abordar a dinâmica complexa do diálogo natural, como sobreposições e retroalimentações conversacionais (back-channeling), permanece um desafio, com os fluxos de processamento padrão sofrendo com erros de diarização e alucinações de ASR. Para preencher essa lacuna, apresentamos um pipeline de processamento de dados robusto, escalável e de código aberto, projetado para modelos de dupla capacidade.

English

As the paradigm of AI shifts from text-based LLMs to Speech Language Models (SLMs), there is a growing demand for full-duplex systems capable of real-time, natural human-computer interaction. However, the development of such models is constrained by the scarcity of high-quality, multi-speaker conversational data, as existing large-scale resources are predominantly single-speaker or limited in volume. Addressing the complex dynamics of natural dialogue, such as overlapping and back-channeling remains a challenge, with standard processing pipelines suffering from diarization errors and ASR hallucinations. To bridge this gap, we present a robust and scalable open-source data processing pipeline designed for full-duplex model.