dLLM：シンプルな拡散言語モデリング

要旨

拡散言語モデル（DLM）は急速に進化していますが、多くの最新モデルは共通の構成要素に収束しつつあります。しかしこれらの構成要素は、断片的な研究用コードベースに分散していたり、透明性の実装を欠いていたりするため、再現や拡張が困難です。この分野が加速する中、共通コンポーネントを標準化しつつ、新しい手法やアーキテクチャを柔軟にサポートできる統一フレームワークが明確に必要とされています。この課題に対処するため、私たちはdLLMを導入します。これは拡散言語モデリングの核心要素——学習、推論、評価——を統合し、新しい設計に対して容易にカスタマイズ可能にするオープンソースフレームワークです。dLLMでは、LLaDAやDreamなどのオープンソース大規模DLMを標準化されたパイプラインを通じて再現、ファインチューニング、デプロイ、評価できます。本フレームワークはさらに、アクセス可能な計算資源で小さなDLMをスクラッチから構築するための最小限かつ再現性のあるレシピを提供し、任意のBERTスタイルのエンコーダーまたは自己回帰言語モデルをDLMに変換する機能も含みます。私たちはこれらの小型DLMのチェックポイントも公開し、DLMのアクセシビリティ向上と将来の研究加速を図ります。

English

Although diffusion language models (DLMs) are evolving quickly, many recent models converge on a set of shared components. These components, however, are distributed across ad-hoc research codebases or lack transparent implementations, making them difficult to reproduce or extend. As the field accelerates, there is a clear need for a unified framework that standardizes these common components while remaining flexible enough to support new methods and architectures. To address this gap, we introduce dLLM, an open-source framework that unifies the core components of diffusion language modeling -- training, inference, and evaluation -- and makes them easy to customize for new designs. With dLLM, users can reproduce, finetune, deploy, and evaluate open-source large DLMs such as LLaDA and Dream through a standardized pipeline. The framework also provides minimal, reproducible recipes for building small DLMs from scratch with accessible compute, including converting any BERT-style encoder or autoregressive LM into a DLM. We also release the checkpoints of these small DLMs to make DLMs more accessible and accelerate future research.

dLLM：シンプルな拡散言語モデリング

dLLM: Simple Diffusion Language Modeling

要旨

Support