Einheitliche Audio-Intelligenz ohne Rückschritte bei der Textintelligenz

Zusammenfassung

Audio-Intelligenz umfasst das Verstehen, Nachdenken und Generieren von Audio und Sprache. In dieser Arbeit stellen wir Nemotron-Labs-Audex-30B-A3B (Audex) vor, ein einheitliches Audio-Text-LLM, das auf Nemotron-Cascade-2-30B-A3B, einem starken textbasierten MoE-LLM, aufbaut. Audex verwendet ein einfaches, einheitliches Design mit einem einzelnen Transformer-Decoder: Audioeingaben werden codiert und in den Text-Embedding-Raum projiziert, während Text-Token und quantisierte Audio-Ausgabe-Token während der Generierung einheitlich behandelt werden. Diese Architektur ermöglicht eine starke Audio-Text-Fusion, eine nahtlose multimodale Generierung sowie Kompatibilität mit Standard-LLM-Trainings- und Inferenzinfrastrukturen. Für das Training kuratieren wir sorgfältig Audio-Text-Datensätze, die 157,4 Milliarden Audio-Token und 320,5 Milliarden Text-Token umfassen. Wir wenden mehrstufiges überwachtes Training auf diesen Datensätzen an, gefolgt von textbasiertem Cascade-RL und Multi-Domain-On-Policy-Destillation. Audex liefert Spitzenleistungen im Audioverständnis, in der Spracherkennung und -übersetzung, in der Text-zu-Sprache-, Audio- und Sprache-zu-Sprache-Generierung, während es die sehr überzeugenden Fähigkeiten seines textbasierten LLM-Backends in den Bereichen Reasoning, Alignment, Wissen, Langzeitkontext und Agentik mit marginaler oder keiner Regression bewahrt. Wir veröffentlichen die Modell-Checkpoints, um offene Forschung zu fördern.

English

Audio intelligence involves understanding, reasoning about, and generating both audio and speech. In this work, we introduce Nemotron-Labs-Audex-30B-A3B (Audex), a unified audio-text LLM built on Nemotron-Cascade-2-30B-A3B, a strong text-only MoE LLM. Audex adopts a simple unified design with a single Transformer decoder: audio inputs are encoded and projected into the text embedding space, while text tokens and quantized audio output tokens are treated uniformly during generation. This architecture enables strong audio-text fusion, seamless multimodal generation, and compatibility with standard LLM training and inference infrastructure. For training, we meticulously curate audio-text datasets comprising 157.4B audio tokens and 320.5B text tokens. We apply multi-stage supervised training on these datasets, followed by text-only Cascade RL and multi-domain on-policy distillation. Audex delivers state-of-the-art audio understanding, speech recognition and translation, text-to-speech, audio generation, and speech-to-speech generation, while preserving very compelling reasoning, alignment, knowledge, long-context, and agentic capabilities of its text-only LLM backbone with marginal or no regression. We release the model checkpoints to facilitate open research.