AURORA-LM: 連続潜在拡散言語モデリングのための自己符号化による統一的表現

要旨

言語は生成モデリングにおいて依然として特異な存在である。画像、動画、音声はますます連続潜在空間でモデル化される一方、テキスト生成は依然として主に離散トークンに依存している。既存の連続言語モデルは、生成と復号を共同で行うために設計されていない埋め込み空間を継承するか、拡散を容易にするために自己符号化された潜在表現を圧縮し、トークンレベルの忠実度を犠牲にしている。生成モデルに合わせて表現を単純化する代わりに、我々は高容量で復号可能なテキスト潜在表現を保持し、その分布を直接学習するように拡散モデルを設計する。我々は、復号可能なテキスト表現の構築とその分布のモデル化を分離する、連続潜在拡散言語モデルAURORA-LMを紹介する。クエリベースのエンコーダ・デコーダは、テキストを高容量でプレフィックス整合された潜在シーケンスに編成し、ブロック因果拡散トランスフォーマーはフローマッチングを通じてその分布を学習する。ブロックを左から右へ生成しながら、各ブロック内の位置を並行してノイズ除去する。このような潜在表現は拡散モデルにとってモデル化が難しいため、AURORA-LMはクリーン潜在表現の完全な予測ターゲットを保持しつつ、ノイズ入力経路のみを制限する。これにより、デコーダ向けの容量を減らすことなく全幅の潜在表現を扱える。さらに、ノイズレベル分布を潜在表現の幅に合わせて調整し、独立にサンプリングされた訓練ノイズと推論時の反復的ノイズ除去を橋渡しする自己軌道一貫性を導入する。 AURORA-LMは、OpenWebTextの自由生成とXSum要約において、評価された連続的および拡散ベースの言語モデルの中で最強の性能を達成する。総計算量約1500 EFLOPsで10億パラメータにスケーリングすることでさらなる向上が得られ、整合された評価プロトコルの下で、公開されているより大規模な潜在拡散言語モデルを上回る。すべての実験はAscend NPU上で実施された。

English

Language remains an outlier in generative modeling: while images, video, and audio are increasingly modeled in continuous latent spaces, text generation still relies predominantly on discrete tokens. Existing continuous language models either inherit embedding spaces not designed for joint generation and decoding, or compress autoencoded latents to ease diffusion, sacrificing token-level fidelity. Instead of simplifying the representation to suit the generative model, we preserve a high-capacity, decodable text latent and design the diffusion model to learn its distribution directly. We introduce AURORA-LM, a continuous-latent diffusion language model that separates the construction of a decodable text representation from the modeling of its distribution. A Query-based Encoder-Decoder organizes text into a high-capacity, prefix-aligned latent sequence, and a Block-causal Diffusion Transformer learns its distribution through flow matching, generating blocks left to right while denoising positions within each block in parallel. Because such a latent is harder for diffusion to model, AURORA-LM restricts only the noisy-input pathway while retaining the full clean-latent prediction target, accommodating full-width latents without reducing decoder-facing capacity. We further calibrate the noise-level distribution to the latent width, and introduce self-trajectory consistency to bridge independently sampled training noise and iterative denoising at inference. AURORA-LM achieves the strongest performance among evaluated continuous and diffusion-based language models on OpenWebText free generation and XSum summarization. Scaling to 1B parameters with about 1500 EFLOPs of total compute yields further gains, surpassing a larger publicly released latent-diffusion language model under a matched evaluation protocol. All experiments are conducted on Ascend NPUs.