Paris : Un modèle de diffusion à poids ouvert entraîné de manière décentralisée

Paris: A Decentralized Trained Open-Weight Diffusion Model

October 3, 2025

papers.authors: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy

cs.AI

papers.abstract

Nous présentons Paris, le premier modèle de diffusion pré-entraîné entièrement par calcul décentralisé et rendu public. Paris démontre qu’une génération d’images à partir de texte de haute qualité peut être réalisée sans infrastructure centralisée. Paris est ouvert à la recherche et à l’utilisation commerciale. Le développement de Paris a nécessité la mise en œuvre de notre cadre de formation décentralisée Distributed Diffusion Training à partir de zéro. Le modèle est composé de 8 modèles experts de diffusion (129M à 605M de paramètres chacun), entraînés en isolation complète sans synchronisation des gradients, des paramètres ou des activations intermédiaires. Plutôt que de nécessiter des mises à jour synchronisées des gradients sur des milliers de GPU, nous partitionnons les données en clusters sémantiquement cohérents, où chaque expert optimise indépendamment son sous-ensemble tout en approximant collectivement la distribution complète. Un routeur transformateur léger sélectionne dynamiquement les experts appropriés lors de l’inférence, atteignant une qualité de génération comparable aux modèles centralisés. L’élimination de la synchronisation permet un entraînement sur du matériel hétérogène sans interconnexions spécialisées. La validation empirique confirme que l’entraînement décentralisé de Paris maintient la qualité de génération tout en supprimant la nécessité d’un cluster de GPU dédié pour les modèles de diffusion à grande échelle. Paris y parvient en utilisant 14 fois moins de données d’entraînement et 16 fois moins de calcul que le précédent modèle décentralisé de référence.

English

We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14times less training data and 16times less compute than the prior decentralized baseline.