MOSS-VL技術報告書

要旨

我々はMOSS-VLを紹介する。これは、リアルタイム対話、すなわち話しながら知覚することを第一級の能力として扱う、オープンな視覚言語モデル群である。このモデルはスタック全体にわたって共設計されている。言語デコーダはゲート付きクロスアテンションを通してのみ視覚に注意を向けるため、モデルは生成中に自然に入力フレームを見ることができる。合成された対話コーパスは、いつ話すべきか、いつ沈黙すべきか、いつ訂正すべきかを監督する。また、段階的なカリキュラムにより、リアルタイム特有の訓練はすべて、強力なオフライン基盤の上で行われる軽量な最終段階に集中される。オフラインでは、MOSS-VL-Instructは同等規模で競争力を有し、時間的推論を要するビデオデータセットで最高水準を示す。4つのストリーミングベンチマークにおいて、MOSS-VL-Realtimeはオープンソースのストリーミングモデルの中で3つで最高平均（残る1つで2位）を記録し、積極的行動を直接試す3つのサブセットを席巻した。OmniMMI Proactive Alertingでは、最良ベースラインの37.5に対して66.0を達成した。MOSS-VLは113億パラメータを有する一方で視覚トークンを復号シーケンスの外に置くことで、視覚コンテキストが増大するにつれて、同一バックボーンであるQwen3-VL-8Bに対する最初のトークンまでの時間の優位性を2.8倍から5.1倍へと拡大する。我々は、5つのチェックポイントすべて、訓練カリキュラム、およびリアルタイム推論コードをhttps://github.com/OpenMOSS/MOSS-VLで公開する。

English

We present MOSS-VL, an open vision-language model family that treats real-time interaction -- perceiving while it speaks -- as a first-class capability. It is co-designed across the stack: the language decoder attends to vision only through gated cross-attention, so the model can naturally see incoming frames while generating; a synthesized interaction corpus supervises when to speak, when to stay silent, and when to revise; and a staged curriculum concentrates all real-time-specific training in one light final stage over a strong offline foundation. Offline, MOSS-VL-Instruct is competitive at comparable scale and leads temporal-reasoning video sets. Across four streaming benchmarks, MOSS-VL-Realtime posts the best average on three (second on the fourth) among open-source streaming models, sweeping the three subsets that squarely test proactive behavior -- 66.0 vs. 37.5 for the best baseline on OmniMMI Proactive Alerting. With 11.3B parameters but visual tokens outside the decoded sequence, MOSS-VL widens its time-to-first-token advantage over same-backbone Qwen3-VL-8B from 2.8x to 5.1x as visual context grows. We release all five checkpoints, the training curriculum, and the real-time inference code at https://github.com/OpenMOSS/MOSS-VL.