텍스트 지능의 퇴보 없이 통합된 오디오 지능

초록

오디오 인텔리전스는 오디오와 음성의 이해, 추론 및 생성을 포괄한다. 본 연구에서는 강력한 텍스트 전용 MoE LLM인 Nemotron-Cascade-2-30B-A3B 기반의 통합 오디오-텍스트 LLM인 Nemotron-Labs-Audex-30B-A3B(Audex)를 소개한다. Audex는 단일 트랜스포머 디코더를 사용하는 단순한 통합 설계를 채택한다. 오디오 입력은 인코딩되어 텍스트 임베딩 공간으로 투영되며, 텍스트 토큰과 양자화된 오디오 출력 토큰은 생성 과정에서 균일하게 처리된다. 이 아키텍처는 강력한 오디오-텍스트 융합, 원활한 멀티모달 생성, 그리고 표준 LLM 훈련 및 추론 인프라와의 호환성을 가능하게 한다. 훈련을 위해 우리는 1,574억 개의 오디오 토큰과 3,205억 개의 텍스트 토큰으로 구성된 오디오-텍스트 데이터셋을 세심하게 선별했다. 이 데이터셋에 대해 다단계 지도 훈련을 적용한 후, 텍스트 전용 Cascade RL 및 다중 도메인 온폴리시 증류를 수행했다. Audex는 오디오 이해, 음성 인식 및 번역, 텍스트-음성 변환, 오디오 생성, 음성-음성 생성 분야에서 최첨단 성능을 제공하면서도, 텍스트 전용 LLM 백본의 매우 강력한 추론, 정렬, 지식, 장문 맥락 및 에이전트 능력을 미미한 퇴보 또는 전혀 퇴보 없이 유지한다. 우리는 오픈 연구를 촉진하기 위해 모델 체크포인트를 공개한다.

English

Audio intelligence involves understanding, reasoning about, and generating both audio and speech. In this work, we introduce Nemotron-Labs-Audex-30B-A3B (Audex), a unified audio-text LLM built on Nemotron-Cascade-2-30B-A3B, a strong text-only MoE LLM. Audex adopts a simple unified design with a single Transformer decoder: audio inputs are encoded and projected into the text embedding space, while text tokens and quantized audio output tokens are treated uniformly during generation. This architecture enables strong audio-text fusion, seamless multimodal generation, and compatibility with standard LLM training and inference infrastructure. For training, we meticulously curate audio-text datasets comprising 157.4B audio tokens and 320.5B text tokens. We apply multi-stage supervised training on these datasets, followed by text-only Cascade RL and multi-domain on-policy distillation. Audex delivers state-of-the-art audio understanding, speech recognition and translation, text-to-speech, audio generation, and speech-to-speech generation, while preserving very compelling reasoning, alignment, knowledge, long-context, and agentic capabilities of its text-only LLM backbone with marginal or no regression. We release the model checkpoints to facilitate open research.