Paris: Um Modelo de Difusão de Pesos Abertos Treinado de Forma Descentralizada

Paris: A Decentralized Trained Open-Weight Diffusion Model

October 3, 2025

Autores: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy

cs.AI

Resumo

Apresentamos Paris, o primeiro modelo de difusão pré-treinado lançado publicamente e desenvolvido inteiramente por meio de computação descentralizada. Paris demonstra que a geração de imagens de alta qualidade a partir de texto pode ser alcançada sem infraestrutura centralizada. Paris está disponível para uso em pesquisa e comercial. O desenvolvimento de Paris exigiu a implementação do nosso framework Distributed Diffusion Training do zero. O modelo consiste em 8 modelos especializados de difusão (com 129M a 605M de parâmetros cada) treinados em completo isolamento, sem sincronização de gradientes, parâmetros ou ativações intermediárias. Em vez de exigir atualizações de gradientes sincronizadas em milhares de GPUs, particionamos os dados em clusters semanticamente coerentes, onde cada especialista otimiza independentemente seu subconjunto, enquanto o coletivo aproxima a distribuição completa. Um roteador leve baseado em transformers seleciona dinamicamente os especialistas apropriados durante a inferência, alcançando qualidade de geração comparável a baselines centralizados. A eliminação da sincronização permite o treinamento em hardware heterogêneo sem interconexões especializadas. A validação empírica confirma que o treinamento descentralizado de Paris mantém a qualidade de geração enquanto remove a necessidade de clusters dedicados de GPUs para modelos de difusão em larga escala. Paris alcança isso utilizando 14 vezes menos dados de treinamento e 16 vezes menos computação do que o baseline descentralizado anterior.

English

We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14times less training data and 16times less compute than the prior decentralized baseline.