Parijs: Een gedecentraliseerd getraind diffusiemodel met open gewichten

Paris: A Decentralized Trained Open-Weight Diffusion Model

October 3, 2025

Auteurs: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy

cs.AI

Samenvatting

We presenteren Paris, het eerste openbaar vrijgegeven diffusiemodel dat volledig is voorgetraind via gedecentraliseerde berekening. Paris toont aan dat hoogwaardige tekst-naar-beeldgeneratie mogelijk is zonder centraal gecoördineerde infrastructuur. Paris is beschikbaar voor onderzoek en commercieel gebruik. Voor Paris was het nodig om ons Distributed Diffusion Training-framework vanaf nul te implementeren. Het model bestaat uit 8 expert-diffusiemodellen (elk met 129M-605M parameters) die volledig geïsoleerd zijn getraind zonder synchronisatie van gradients, parameters of tussenliggende activeringen. In plaats van gesynchroniseerde gradientupdates over duizenden GPU's te vereisen, verdelen we de data in semantisch samenhangende clusters, waarbij elke expert onafhankelijk zijn subset optimaliseert en gezamenlijk de volledige distributie benadert. Een lichtgewicht transformer-router selecteert dynamisch de juiste experts tijdens inferentie, waardoor generatiekwaliteit wordt bereikt die vergelijkbaar is met centraal gecoördineerde baselines. Door synchronisatie te elimineren, wordt training op heterogene hardware mogelijk zonder gespecialiseerde interconnecties. Empirische validatie bevestigt dat de gedecentraliseerde training van Paris de generatiekwaliteit behoudt, terwijl de noodzaak voor een toegewijde GPU-cluster voor grootschalige diffusiemodellen wordt weggenomen. Paris bereikt dit met 14 keer minder trainingsdata en 16 keer minder rekenkracht dan de vorige gedecentraliseerde baseline.

English

We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14times less training data and 16times less compute than the prior decentralized baseline.