パリ：分散学習されたオープンウェイト拡散モデル

要旨

本研究では、分散計算を通じて完全に事前学習された初の公開拡散モデルであるParisを紹介する。Parisは、中央集権的なインフラを必要とせずに、高品質なテキストから画像への生成が可能であることを実証している。Parisは研究および商用利用のために公開されており、その開発には我々のDistributed Diffusion Trainingフレームワークを一から実装する必要があった。本モデルは、8つの専門拡散モデル（各129M～605Mパラメータ）で構成され、勾配、パラメータ、または中間活性化の同期なしに完全に独立して学習されている。数千のGPU間で同期された勾配更新を必要とする代わりに、データを意味的に一貫したクラスタに分割し、各専門家がそのサブセットを独立して最適化しながら、全体の分布を集合的に近似する。軽量なトランスフォーマールータが推論時に適切な専門家を動的に選択し、中央集権的なベースラインと同等の生成品質を達成する。同期を排除することで、専用の相互接続を必要とせずに異種ハードウェア上での学習が可能となる。実証的な検証により、Parisの分散学習は、大規模拡散モデルに必要な専用GPUクラスタの要件を削減しつつ、生成品質を維持することが確認された。Parisは、従来の分散ベースラインと比較して、14倍少ない学習データと16倍少ない計算量でこれを達成している。

English

We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14times less training data and 16times less compute than the prior decentralized baseline.

パリ：分散学習されたオープンウェイト拡散モデル

Paris: A Decentralized Trained Open-Weight Diffusion Model

要旨

Support