Omni Interaction Agent 技術報告書

要旨

本研究では、オムニ知覚、リアルタイム対話、エージェント能力を単一フレームワーク内で統合するエンドツーエンドモデルであるGanderを提案する。従来のターン制パラダイムとは対照的に、Ganderは動画、音声、テキストを含む複数モダリティにわたるストリーミング入力を持続的に受け取り、日常会話と複雑なワークフロー指向のエージェントシナリオの両方において自然な全二重対話を可能にする。ユーザはいつでもモデルを中断できる一方、モデル側も能動的に中間フィードバックを提供したり、追加質問を行ったりできる。これらの能力をネイティブにサポートするため、Ganderは2つの重要なアーキテクチャ設計を採用している。1）Cerebellum-Brain協調フレームワークを採用し、Cerebellumがリアルタイム対話とオムニ会話能力を担い、Brainが複雑な推論とより高次のエージェントタスクを処理する。2つの構成要素は、ツール呼び出しとエージェントオーケストレーションランタイムを通じて継続的に相互作用する。2）CerebellumはストリーミングThinker-Talkerアーキテクチャに基づいて構築され、ユーザ入力とモデル出力はさらにチャンクレベルで順序付けられたトークンストリームに平坦化され、低遅延で継続的な対話のための統一表現を提供する。我々はGanderについて、会話能力、オムニ理解、インタラクション能力、エージェント知能という4つの次元にわたって包括的評価を行う。内部の人手評価は、GanderがSOTAオープンソースモデルの自然で表現豊かな音声対話能力を維持しつつ、オムニインタラクションにおいて競争力のある性能を達成していることを示している。Ganderはまた、背景雑音干渉、多者間インタラクション、バックチャネルコミュニケーションを含む困難な実世界シナリオにおいて頑健性を示す。我々は、コミュニティにおけるさらなる研究開発を促進するため、Ganderをそのモデル、コード、データとともに公開する。

English

In this work, we present Gander, an end-to-end model that unifies omni perception, realtime interaction, and agentic capabilities within a single framework. In contrast to turn-based conventional paradigms, Gander continuously receives streaming inputs across multiple modalities, including video, speech, and text, enabling natural full-duplex interaction in both everyday conversations and complex workflow-oriented agent scenarios. Users can interrupt the model at any time, while the model can also proactively provide intermediate feedback or ask follow up questions. To natively support these capabilities, Gander adopts two key architectural designs: 1) It employs a Cerebellum-Brain collaborative framework, in which the Cerebellum is responsible for realtime interaction and omni conversational capabilities, while the Brain handles complex reasoning and higher-level agentic tasks. The two components interact continuously through tool calling and the agent orchestration runtime. 2) The Cerebellum is built upon a streaming Thinker-Talker architecture, user inputs and model outputs are further flattened into an ordered token stream at the chunk level, providing a unified representation for low latency, continuous interaction. We conduct comprehensive evaluations of Gander across four dimensions: conversational ability, omni understanding, interactive capability, and agentic intelligence. Internal human evaluations demonstrate that Gander maintains the natural and expressive spoken dialogue capabilities of SOTA open source models while achieving competitive performance in omni interaction. Gander also demonstrates robustness in challenging real-world scenarios, including background noise interference, multi-party interactions, and backchannel communication. We release Gander together with its models, code, and data to facilitate further research and development in the community.