Treinamento Eficiente em Múltiplas GPUs de Consumo com RoundPipe

Efficient Training on Multiple Consumer GPUs with RoundPipe

April 29, 2026

Autores: Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu

cs.AI

Resumo

O ajuste fino de Grandes Modelos de Linguagem (LLMs) em GPUs de classe consumidor é altamente custo-efetivo, mas é limitado pela memória limitada da GPU e pelas interconexões PCIe lentas. O paralelismo de pipeline combinado com o descarregamento para a CPU mitiga esses gargalos de hardware, reduzindo a sobrecarga de comunicação. No entanto, os escalonadores de PP existentes sofrem de uma limitação inerente denominada problema de vinculação de pesos. A vinculação de estágios de modelo desiguais (por exemplo, a cabeça LM é grande) a GPUs limita a taxa de transferência do pipeline àquela da GPU com a carga mais pesada, levando a severas bolhas no pipeline. Neste artigo, propomos o RoundPipe, um novo escalonador de pipeline que quebra a restrição de vinculação de pesos em servidores com GPUs de classe consumidor. O RoundPipe trata as GPUs como um pool de trabalhadores de execução sem estado e despacha dinamicamente os estágios de computação entre os dispositivos de maneira round-robin, alcançando um pipeline com bolhas quase nulas. Para garantir a correção do treinamento e a eficiência do sistema, o RoundPipe integra um motor de escalonamento de transferência com consciência de prioridade, um protocolo de sincronização distribuída de eventos em granularidade fina e um algoritmo automatizado de particionamento de camadas. Avaliações em um servidor com 8x RTX 4090 demonstram que o RoundPipe alcança acelerações de 1,48x a 2,16x em relação às linhas de base state-of-the-art ao realizar o ajuste fino de modelos de 1,7B a 32B. Notavelmente, o RoundPipe permite o ajuste fino LoRA do modelo Qwen3-235B com comprimento de sequência de 31K em um único servidor. O RoundPipe está publicamente disponível como uma biblioteca Python de código aberto com documentação abrangente.

English

Fine-tuning Large Language Models (LLMs) on consumer-grade GPUs is highly cost-effective, yet constrained by limited GPU memory and slow PCIe interconnects. Pipeline parallelism combined with CPU offloading mitigates these hardware bottlenecks by reducing communication overhead. However, existing PP schedules suffer from an inherent limitation termed the weight binding issue. Binding uneven model stages (e.g., the LM head is large) to GPUs limits the pipeline's throughput to that of the GPU with the heaviest load, leading to severe pipeline bubbles. In this paper, we propose RoundPipe, a novel pipeline schedule that breaks the weight binding constraint on consumer GPU servers. RoundPipe treats GPUs as a pool of stateless execution workers and dynamically dispatches computation stages across devices in a round-robin manner, achieving a near-zero-bubble pipeline. To ensure training correctness and system efficiency, RoundPipe integrates a priority-aware transfer scheduling engine, a fine-grained distributed event-based synchronization protocol, and an automated layer partitioning algorithm. Evaluations on an 8times RTX 4090 server demonstrate that RoundPipe achieves 1.48--2.16times speedups over state-of-the-art baselines when fine-tuning 1.7B to 32B models. Remarkably, RoundPipe enables LoRA fine-tuning of the Qwen3-235B model with 31K sequence length on a single server. RoundPipe is publicly available as an open-source Python library with comprehensive documentation.