VoxMind: エンドツーエンドの対話エージェント音声対話システム

VoxMind: An End-to-End Agentic Spoken Dialogue System

April 17, 2026

著者: Tianle Liang, Yifu Chen, Shengpeng Ji, Yijun Chen, Zhiyang Jia, Jingyu Lu, Fan Zhuo, Xueyi Pu, Yangzhuo Li, Zhou Zhao

cs.AI

要旨

近年、エンドツーエンド音声対話モデルの発展により自然な対話が可能となった。しかし、ユーザーの要求が複雑化するにつれ、対話能力のみに依存するモデルでは対応が困難になりつつある。そこで、エージェント機能の統合が不可欠である。ツール利用機能を付与することで、モデルは知識の境界を拡張し、実世界のタスクをより効果的に解決できるようになる。しかし、既存研究は主に中核的な知覚・生成技術に集中しており、ツール拡張機能に関する探求は比較的限定的である。このギャップを埋めるため、我々はVoxMindを提案する。これはエンドツーエンド音声対話モデルに包括的なエージェント機能を付与する統合フレームワークである。我々が整備した470時間のAgentChatデータセットを活用し、「話す前に考える」機構を組み込むことで、モデルが計画と応答生成の重要な前提条件として構造化された推論を内在化できるようにした。さらに、大規模ツール統合による遅延ボトルネックを緩和するため、マルチエージェント動的ツール管理アーキテクチャを提案する。検索タスクを補助エージェントに非同期で委譲し、主モデルの推論軌跡に沿って調整することで、推論遅延とツールセット規模の結合を効果的に分離する。実験結果により、VoxMindがエージェント性能において顕著な改善を達成することが確認された。強力なベースラインと比較して、タスク達成率は34.88%から74.57%に向上し、音声エージェントタスクにおいてGemini-2.5-Proを上回りながら、一般的な対話品質も維持した。ソースコード及び関連データはhttps://github.com/MM-Speech/VoxMind で公開されている。

English

Recent end-to-end spoken dialogue models enable natural interaction. However, as user demands become increasingly complex, models that rely solely on conversational abilities often struggle to cope. Incorporating agentic capabilities is therefore essential: by enabling tool use, these models can extend their knowledge boundaries and better solve real-world tasks. Yet, existing research has largely concentrated on core perception and generation, with comparatively limited exploration of such tool-augmented extensions. To bridge this gap, we present VoxMind, an integrated framework designed to equip end-to-end spoken dialogue models with comprehensive agentic abilities. Leveraging our curated 470-hour AgentChat dataset, we incorporate a "Think-before-Speak" mechanism, enabling the model to internalize structured reasoning as a critical prerequisite for planning and response generation. Furthermore, to mitigate latency bottlenecks caused by large-scale tool integration, we propose a Multi-Agent Dynamic Tool Management architecture. By asynchronously delegating retrieval tasks to an auxiliary agent aligned with the main model's reasoning trajectory, this system effectively decouples inference latency from toolset size. Experimental results confirm that VoxMind achieves significant improvements in agent performance: compared with strong baselines, the task completion rate increases from 34.88% to 74.57%, outperforming Gemini-2.5-Pro on spoken agent tasks while preserving general conversational quality. The source code and associated data are publicly available at https://github.com/MM-Speech/VoxMind.