Relatório Técnico Covo-Áudio

Covo-Audio Technical Report

February 10, 2026

Autores: Wenfu Wang, Chenxing Li, Liqiang Zhang, Yiyang Zhao, Yuxiang Zou, Hanzhao Li, Mingyu Cui, Hao Zhang, Kun Wei, Le Xu, Zikang Huang, Jiajun Xu, Jiliang Hu, Xiang He, Zeyu Xie, Jiawen Kang, Youjun Chen, Meng Yu, Dong Yu, Rilin Chen, Linlin Di, Shulin Feng, Na Hu, Yang Liu, Bang Wang, Shan Yang

cs.AI

Resumo

Neste trabalho, apresentamos o Covo-Audio, um LALM (Large Audio Language Model) de 7 mil milhões de parâmetros de ponta a ponta que processa diretamente entradas de áudio contínuo e gera saídas de áudio dentro de uma única arquitetura unificada. Através de um pré-treinamento em larga escala curado e de um pós-treinamento direcionado, o Covo-Audio atinge um desempenho state-of-the-art ou competitivo entre modelos de escala comparável em um amplo espectro de tarefas, incluindo modelagem fala-texto, diálogo falado, compreensão de fala, compreensão de áudio e interação vocal full-duplex. Avaliações extensivas demonstram que o modelo de base pré-treinado exibe fortes capacidades de compreensão fala-texto e de raciocínio semântico em múltiplos benchmarks, superando modelos open-source representativos de escala comparável. Além disso, o Covo-Audio-Chat, a variante orientada para diálogo, demonstra fortes habilidades conversacionais faladas, incluindo compreensão, raciocínio contextual, seguimento de instruções e geração de respostas contextualmente apropriadas e empáticas, validando a sua aplicabilidade em cenários reais de assistentes conversacionais. O Covo-Audio-Chat-FD, o modelo evoluído para full-duplex, atinge um desempenho substancialmente superior tanto nas capacidades de diálogo falado quanto nos comportamentos de interação full-duplex, demonstrando a sua competência em robustez prática. Para mitigar o alto custo de implantação de LALMs de ponta a ponta para sistemas conversacionais naturais, propomos uma estratégia de desacoplamento inteligência-altifalante que separa a inteligência de diálogo da renderização de voz, permitindo uma personalização flexível da voz com dados mínimos de texto-para-fala (TTS), preservando o desempenho do diálogo. No geral, os nossos resultados destacam o forte potencial dos modelos de escala 7B para integrar inteligência de áudio sofisticada com raciocínio semântico de alto nível e sugerem um caminho escalável para LALMs mais capazes e versáteis.

English

In this work, we present Covo-Audio, a 7B-parameter end-to-end LALM that directly processes continuous audio inputs and generates audio outputs within a single unified architecture. Through large-scale curated pretraining and targeted post-training, Covo-Audio achieves state-of-the-art or competitive performance among models of comparable scale across a broad spectrum of tasks, including speech-text modeling, spoken dialogue, speech understanding, audio understanding, and full-duplex voice interaction. Extensive evaluations demonstrate that the pretrained foundation model exhibits strong speech-text comprehension and semantic reasoning capabilities on multiple benchmarks, outperforming representative open-source models of comparable scale. Furthermore, Covo-Audio-Chat, the dialogue-oriented variant, demonstrates strong spoken conversational abilities, including understanding, contextual reasoning, instruction following, and generating contextually appropriate and empathetic responses, validating its applicability to real-world conversational assistant scenarios. Covo-Audio-Chat-FD, the evolved full-duplex model, achieves substantially superior performance on both spoken dialogue capabilities and full-duplex interaction behaviors, demonstrating its competence in practical robustness. To mitigate the high cost of deploying end-to-end LALMs for natural conversational systems, we propose an intelligence-speaker decoupling strategy that separates dialogue intelligence from voice rendering, enabling flexible voice customization with minimal text-to-speech (TTS) data while preserving dialogue performance. Overall, our results highlight the strong potential of 7B-scale models to integrate sophisticated audio intelligence with high-level semantic reasoning, and suggest a scalable path toward more capable and versatile LALMs.