Parigi: Un modello di diffusione open-weight addestrato in modo decentralizzato

Paris: A Decentralized Trained Open-Weight Diffusion Model

October 3, 2025

Autori: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy

cs.AI

Abstract

Presentiamo Paris, il primo modello di diffusione rilasciato pubblicamente e pre-addestrato interamente attraverso calcolo decentralizzato. Paris dimostra che è possibile ottenere una generazione di immagini da testo di alta qualità senza l'uso di infrastrutture centralizzate. Paris è disponibile per uso sia di ricerca che commerciale. Lo sviluppo di Paris ha richiesto l'implementazione da zero del nostro framework Distributed Diffusion Training. Il modello è composto da 8 modelli di diffusione esperti (ciascuno con 129M-605M parametri) addestrati in completo isolamento, senza sincronizzazione di gradienti, parametri o attivazioni intermedie. Invece di richiedere aggiornamenti sincronizzati dei gradienti su migliaia di GPU, abbiamo suddiviso i dati in cluster semanticamente coerenti, dove ciascun esperto ottimizza in modo indipendente il proprio sottoinsieme, approssimando collettivamente l'intera distribuzione. Un router transformer leggero seleziona dinamicamente gli esperti appropriati durante l'inferenza, raggiungendo una qualità di generazione paragonabile a quella dei modelli centralizzati. L'eliminazione della sincronizzazione consente l'addestramento su hardware eterogeneo senza interconnessioni specializzate. La validazione empirica conferma che l'addestramento decentralizzato di Paris mantiene la qualità della generazione, eliminando la necessità di cluster GPU dedicati per modelli di diffusione su larga scala. Paris raggiunge questo risultato utilizzando 14 volte meno dati di addestramento e 16 volte meno risorse computazionali rispetto al precedente baseline decentralizzato.

English

We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14times less training data and 16times less compute than the prior decentralized baseline.