AURORA-LM: 연속-잠재 확산 언어 모델링을 위한 오토인코딩 통합 표현

초록

언어는 생성 모델링에서 여전히 예외적인 분야로 남아 있다. 이미지, 비디오, 오디오는 점차 연속적인 잠재 공간에서 모델링되는 반면, 텍스트 생성은 여전히 주로 이산 토큰에 의존한다. 기존의 연속 언어 모델은 생성과 디코딩을 함께 수행하도록 설계되지 않은 임베딩 공간을 그대로 사용하거나, 확산을 용이하게 하기 위해 오토인코더 기반 잠재 표현을 압축하여 토큰 수준의 정확도를 희생한다. 우리는 생성 모델에 맞추기 위해 표현을 단순화하는 대신, 고용량의 디코딩 가능한 텍스트 잠재 표현을 유지하고 확산 모델이 그 분포를 직접 학습하도록 설계한다. 우리는 디코딩 가능한 텍스트 표현의 구축과 그 분포의 모델링을 분리하는 연속 잠재 확산 언어 모델인 AURORA-LM을 소개한다. 쿼리 기반 인코더-디코더는 텍스트를 고용량의 접두어 정렬 잠재 시퀀스로 구성하고, 블록 인과 확산 트랜스포머는 플로우 매칭을 통해 그 분포를 학습한다. 이때 각 블록 내 위치의 노이즈 제거를 병렬로 수행하면서 블록을 왼쪽에서 오른쪽으로 생성한다. 이러한 잠재 표현은 확산 모델이 모델링하기 더 어렵기 때문에, AURORA-LM은 노이즈 입력 경로만 제한하고 전체 클린 잠재 표현 예측 대상을 유지하여 디코더 측 용량을 줄이지 않으면서 전체 폭의 잠재 표현을 수용한다. 또한 노이즈 수준 분포를 잠재 폭에 맞게 보정하고, 독립적으로 샘플링된 훈련 노이즈와 추론 시의 반복적 노이즈 제거 사이의 간극을 메우기 위해 자체 궤적 일관성을 도입한다. AURORA-LM은 OpenWebText 자유 생성과 XSum 요약 작업에서 평가된 연속 및 확산 기반 언어 모델 중 최고 성능을 달성한다. 약 1500 EFLOPs의 총 계산량으로 1B 파라미터로 확장하면 추가적인 성능 향상을 얻을 수 있으며, 동일한 평가 프로토콜 하에서 더 큰 규모로 공개된 잠재 확산 언어 모델을 능가한다. 모든 실험은 Ascend NPU에서 수행되었다.

English

Language remains an outlier in generative modeling: while images, video, and audio are increasingly modeled in continuous latent spaces, text generation still relies predominantly on discrete tokens. Existing continuous language models either inherit embedding spaces not designed for joint generation and decoding, or compress autoencoded latents to ease diffusion, sacrificing token-level fidelity. Instead of simplifying the representation to suit the generative model, we preserve a high-capacity, decodable text latent and design the diffusion model to learn its distribution directly. We introduce AURORA-LM, a continuous-latent diffusion language model that separates the construction of a decodable text representation from the modeling of its distribution. A Query-based Encoder-Decoder organizes text into a high-capacity, prefix-aligned latent sequence, and a Block-causal Diffusion Transformer learns its distribution through flow matching, generating blocks left to right while denoising positions within each block in parallel. Because such a latent is harder for diffusion to model, AURORA-LM restricts only the noisy-input pathway while retaining the full clean-latent prediction target, accommodating full-width latents without reducing decoder-facing capacity. We further calibrate the noise-level distribution to the latent width, and introduce self-trajectory consistency to bridge independently sampled training noise and iterative denoising at inference. AURORA-LM achieves the strongest performance among evaluated continuous and diffusion-based language models on OpenWebText free generation and XSum summarization. Scaling to 1B parameters with about 1500 EFLOPs of total compute yields further gains, surpassing a larger publicly released latent-diffusion language model under a matched evaluation protocol. All experiments are conducted on Ascend NPUs.