テキスト知能を後退させない統一音声知能

要旨

音声インテリジェンスは、音声と発話の理解、推論、生成を含みます。本研究では、強力なテキスト専用MoE LLMであるNemotron-Cascade-2-30B-A3Bを基盤とした、統一オーディオテキストLLMであるNemotron-Labs-Audex-30B-A3B（Audex）を紹介します。Audexは単一のTransformerデコーダによるシンプルな統一設計を採用しており、音声入力をエンコードしてテキスト埋め込み空間に投影し、テキストトークンと量子化された音声出力トークンを生成時に均等に扱います。このアーキテクチャにより、強力な音声テキスト融合、シームレスなマルチモーダル生成、そして標準的なLLMの学習・推論インフラとの互換性が実現されます。学習には、1574億の音声トークンと3205億のテキストトークンから構成される音声テキストデータセットを丹念にキュレーションしました。これらのデータセットに対して多段階の教師あり学習を適用し、その後、テキスト専用のカスケードRLとマルチドメインのオン方策蒸留を行います。Audexは、最先端の音声理解、音声認識と翻訳、テキストから音声への変換、音声生成、および音声から音声への生成を実現しつつ、そのテキスト専用LLMバックボーンが持つ非常に優れた推論、アライメント、知識、長文脈、エージェント的能力を、ほとんど、あるいは全く後退させることなく維持しています。オープンな研究を促進するため、モデルチェックポイントを公開します。

English

Audio intelligence involves understanding, reasoning about, and generating both audio and speech. In this work, we introduce Nemotron-Labs-Audex-30B-A3B (Audex), a unified audio-text LLM built on Nemotron-Cascade-2-30B-A3B, a strong text-only MoE LLM. Audex adopts a simple unified design with a single Transformer decoder: audio inputs are encoded and projected into the text embedding space, while text tokens and quantized audio output tokens are treated uniformly during generation. This architecture enables strong audio-text fusion, seamless multimodal generation, and compatibility with standard LLM training and inference infrastructure. For training, we meticulously curate audio-text datasets comprising 157.4B audio tokens and 320.5B text tokens. We apply multi-stage supervised training on these datasets, followed by text-only Cascade RL and multi-domain on-policy distillation. Audex delivers state-of-the-art audio understanding, speech recognition and translation, text-to-speech, audio generation, and speech-to-speech generation, while preserving very compelling reasoning, alignment, knowledge, long-context, and agentic capabilities of its text-only LLM backbone with marginal or no regression. We release the model checkpoints to facilitate open research.