Париж: Децентрализованная обученная диффузионная модель с открытыми весами

Paris: A Decentralized Trained Open-Weight Diffusion Model

October 3, 2025

Авторы: Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy

cs.AI

Аннотация

Мы представляем Paris — первую публично выпущенную диффузионную модель, предварительно обученную исключительно с использованием децентрализованных вычислений. Paris демонстрирует, что высококачественное преобразование текста в изображение может быть достигнуто без централизованной инфраструктуры. Paris доступна для исследований и коммерческого использования. Для создания Paris потребовалась реализация с нуля нашей системы Distributed Diffusion Training. Модель состоит из 8 экспертных диффузионных моделей (каждая с 129 млн — 605 млн параметров), обученных в полной изоляции без синхронизации градиентов, параметров или промежуточных активаций. Вместо необходимости синхронизированных обновлений градиентов на тысячах GPU мы разделяем данные на семантически согласованные кластеры, где каждый эксперт независимо оптимизирует свой подмножество данных, коллективно приближаясь к полному распределению. Легковесный трансформер-маршрутизатор динамически выбирает подходящих экспертов на этапе вывода, достигая качества генерации, сопоставимого с централизованными базовыми моделями. Устранение необходимости синхронизации позволяет проводить обучение на гетерогенном оборудовании без специализированных межсоединений. Эмпирическая проверка подтверждает, что децентрализованное обучение Paris сохраняет качество генерации, устраняя при этом необходимость в выделенных кластерах GPU для крупномасштабных диффузионных моделей. Paris достигает этого, используя в 14 раз меньше обучающих данных и в 16 раз меньше вычислительных ресурсов по сравнению с предыдущей децентрализованной базовой моделью.

English

We present Paris, the first publicly released diffusion model pre-trained entirely through decentralized computation. Paris demonstrates that high-quality text-to-image generation can be achieved without centrally coordinated infrastructure. Paris is open for research and commercial use. Paris required implementing our Distributed Diffusion Training framework from scratch. The model consists of 8 expert diffusion models (129M-605M parameters each) trained in complete isolation with no gradient, parameter, or intermediate activation synchronization. Rather than requiring synchronized gradient updates across thousands of GPUs, we partition data into semantically coherent clusters where each expert independently optimizes its subset while collectively approximating the full distribution. A lightweight transformer router dynamically selects appropriate experts at inference, achieving generation quality comparable to centrally coordinated baselines. Eliminating synchronization enables training on heterogeneous hardware without specialized interconnects. Empirical validation confirms that Paris's decentralized training maintains generation quality while removing the dedicated GPU cluster requirement for large-scale diffusion models. Paris achieves this using 14times less training data and 16times less compute than the prior decentralized baseline.