Paris: Ein dezentral trainiertes Open-Weight-Diffusionsmodell

Paris: A Decentralized Trained Open-Weight Diffusion Model

October 3, 2025

papers.authors: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy

cs.AI

papers.abstract

Wir präsentieren Paris, das erste öffentlich verfügbare Diffusionsmodell, das vollständig durch dezentralisierte Berechnung vortrainiert wurde. Paris demonstriert, dass hochwertige Text-zu-Bild-Generierung ohne zentral koordinierte Infrastruktur erreicht werden kann. Paris steht für Forschungs- und kommerzielle Nutzung offen. Die Entwicklung von Paris erforderte die Implementierung unseres Distributed Diffusion Training Frameworks von Grund auf. Das Modell besteht aus 8 Expertendiffusionsmodellen (jeweils 129M–605M Parameter), die vollständig isoliert ohne Gradienten-, Parameter- oder Zwischenaktivierungssynchronisation trainiert wurden. Anstatt synchronisierte Gradientenupdates über Tausende von GPUs zu erfordern, partitionieren wir die Daten in semantisch kohärente Cluster, in denen jeder Experte unabhängig seine Teilmenge optimiert, während gemeinsam die vollständige Verteilung angenähert wird. Ein leichtgewichtiger Transformer-Router wählt dynamisch die passenden Experten während der Inferenz aus und erreicht dabei eine Generierungsqualität, die mit zentral koordinierten Baselines vergleichbar ist. Die Eliminierung der Synchronisation ermöglicht das Training auf heterogener Hardware ohne spezialisierte Interconnects. Empirische Validierungen bestätigen, dass das dezentralisierte Training von Paris die Generierungsqualität beibehält, während die Anforderung an dedizierte GPU-Cluster für großskalige Diffusionsmodelle entfällt. Paris erreicht dies mit 14-mal weniger Trainingsdaten und 16-mal weniger Rechenleistung als die bisherige dezentralisierte Baseline.

English

We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14times less training data and 16times less compute than the prior decentralized baseline.