Inteligencia de Audio Unificada sin Regresión en la Inteligencia Textual

Resumen

La inteligencia de audio implica la comprensión, el razonamiento y la generación tanto de audio como de habla. En este trabajo, presentamos Nemotron-Labs-Audex-30B-A3B (Audex), un modelo de lenguaje grande (LLM) unificado de audio-texto construido sobre Nemotron-Cascade-2-30B-A3B, un LLM textual robusto basado en mezcla de expertos (MoE). Audex adopta un diseño unificado simple con un único decodificador Transformer: las entradas de audio se codifican y se proyectan al espacio de embeddings de texto, mientras que los tokens de texto y los tokens cuantizados de salida de audio se tratan de manera uniforme durante la generación. Esta arquitectura permite una fuerte fusión de audio y texto, una generación multimodal fluida y compatibilidad con la infraestructura estándar de entrenamiento e inferencia de LLM. Para el entrenamiento, seleccionamos meticulosamente conjuntos de datos de audio-texto que comprenden 157.4 mil millones de tokens de audio y 320.5 mil millones de tokens de texto. Aplicamos entrenamiento supervisado en múltiples etapas sobre estos conjuntos de datos, seguido de RL en cascada solo textual y destilación on-policy en múltiples dominios. Audex ofrece comprensión de audio, reconocimiento y traducción de habla, conversión de texto a habla, generación de audio y generación de habla a habla de última generación, a la vez que preserva capacidades muy convincentes de razonamiento, alineación, conocimiento, contexto largo y capacidades agentivas de su LLM textual base, con una regresión marginal o nula. Publicamos los puntos de control del modelo para facilitar la investigación abierta.

English

Audio intelligence involves understanding, reasoning about, and generating both audio and speech. In this work, we introduce Nemotron-Labs-Audex-30B-A3B (Audex), a unified audio-text LLM built on Nemotron-Cascade-2-30B-A3B, a strong text-only MoE LLM. Audex adopts a simple unified design with a single Transformer decoder: audio inputs are encoded and projected into the text embedding space, while text tokens and quantized audio output tokens are treated uniformly during generation. This architecture enables strong audio-text fusion, seamless multimodal generation, and compatibility with standard LLM training and inference infrastructure. For training, we meticulously curate audio-text datasets comprising 157.4B audio tokens and 320.5B text tokens. We apply multi-stage supervised training on these datasets, followed by text-only Cascade RL and multi-domain on-policy distillation. Audex delivers state-of-the-art audio understanding, speech recognition and translation, text-to-speech, audio generation, and speech-to-speech generation, while preserving very compelling reasoning, alignment, knowledge, long-context, and agentic capabilities of its text-only LLM backbone with marginal or no regression. We release the model checkpoints to facilitate open research.