VoxMind: Сквозная агентная система устного диалога
VoxMind: An End-to-End Agentic Spoken Dialogue System
April 17, 2026
Авторы: Tianle Liang, Yifu Chen, Shengpeng Ji, Yijun Chen, Zhiyang Jia, Jingyu Lu, Fan Zhuo, Xueyi Pu, Yangzhuo Li, Zhou Zhao
cs.AI
Аннотация
Современные сквозные модели речевого диалога обеспечивают естественное взаимодействие. Однако по мере усложнения запросов пользователей модели, полагающиеся исключительно на разговорные способности, часто не справляются. Поэтому ключевое значение приобретает наделение их агентскими функциями: благодаря использованию инструментов такие модели могут расширять границы своих знаний и эффективнее решать практические задачи. Тем не менее, существующие исследования в основном сосредоточены на базовых возможностях восприятия и генерации, тогда как расширения с помощью инструментов изучены сравнительно слабо. Для преодоления этого разрыва мы представляем VoxMind — интегрированную платформу, предназначенную для оснащения сквозных речевых диалоговых моделей комплексными агентскими способностями. Используя наш специально подготовленный 470-часовой набор данных AgentChat, мы внедряем механизм «Подумай, прежде чем говорить», позволяющий модели интериоризировать структурированные рассуждения как критически важную предпосылку для планирования и генерации ответов. Кроме того, для снижения задержек, вызванных интеграцией масштабных инструментов, мы предлагаем архитектуру динамического управления инструментами на основе множественных агентов. Благодаря асинхронному делегированию задач поиска вспомогательному агенту, согласованному с траекторией рассуждений основной модели, эта система эффективно разделяет задержку вывода и размер набора инструментов. Результаты экспериментов подтверждают, что VoxMind обеспечивает значительное улучшение агентской производительности: по сравнению с сильными базовыми моделями показатель успешного выполнения задач возрастает с 34,88% до 74,57%, превосходя Gemini-2.5-Pro в речевых агентских задачах при сохранении общего качества диалога. Исходный код и связанные данные находятся в открытом доступе по адресу https://github.com/MM-Speech/VoxMind.
English
Recent end-to-end spoken dialogue models enable natural interaction. However, as user demands become increasingly complex, models that rely solely on conversational abilities often struggle to cope. Incorporating agentic capabilities is therefore essential: by enabling tool use, these models can extend their knowledge boundaries and better solve real-world tasks. Yet, existing research has largely concentrated on core perception and generation, with comparatively limited exploration of such tool-augmented extensions. To bridge this gap, we present VoxMind, an integrated framework designed to equip end-to-end spoken dialogue models with comprehensive agentic abilities. Leveraging our curated 470-hour AgentChat dataset, we incorporate a "Think-before-Speak" mechanism, enabling the model to internalize structured reasoning as a critical prerequisite for planning and response generation. Furthermore, to mitigate latency bottlenecks caused by large-scale tool integration, we propose a Multi-Agent Dynamic Tool Management architecture. By asynchronously delegating retrieval tasks to an auxiliary agent aligned with the main model's reasoning trajectory, this system effectively decouples inference latency from toolset size. Experimental results confirm that VoxMind achieves significant improvements in agent performance: compared with strong baselines, the task completion rate increases from 34.88% to 74.57%, outperforming Gemini-2.5-Pro on spoken agent tasks while preserving general conversational quality. The source code and associated data are publicly available at https://github.com/MM-Speech/VoxMind.