Эффективное обучение на нескольких потребительских GPU с помощью RoundPipe

Efficient Training on Multiple Consumer GPUs with RoundPipe

April 29, 2026

Авторы: Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu

cs.AI

Аннотация

Тонкая настройка больших языковых моделей (LLM) на потребительских графических процессорах является высоко рентабельной, однако ограничена малым объемом памяти GPU и низкой скоростью межсоединений PCIe. Конвейерный параллелизм в сочетании с оффлоудом на CPU смягчает эти аппаратные ограничения за счет снижения накладных расходов на коммуникацию. Однако существующие расписания конвейерного параллелизма страдают от фундаментального ограничения, называемого проблемой привязки весов. Привязка неравномерных стадий модели (например, большой LM-головы) к GPU ограничивает пропускную способность конвейера производительностью GPU с наибольшей нагрузкой, что приводит к значительным "пузырям" в конвейере. В данной статье мы предлагаем RoundPipe — новое расписание конвейера, которое снимает ограничение привязки весов на серверах с потребительскими GPU. RoundPipe рассматривает GPU как пул stateless-вычислителей и динамически распределяет вычислительные стадии по устройствам циклическим образом, достигая конвейера с практически нулевыми "пузырями". Для обеспечения корректности обучения и эффективности системы RoundPipe интегрирует механизм планирования передачи данных с учетом приоритетов, распределенный протокол синхронизации на основе событий с мелкой гранулярностью и автоматизированный алгоритм разделения слоев. Оценки на сервере с 8×RTX 4090 демонстрируют, что RoundPipe обеспечивает ускорение в 1.48–2.16 раза по сравнению с современными аналогами при тонкой настройке моделей от 1.7B до 32B параметров. Примечательно, что RoundPipe позволяет выполнять LoRA-настройку модели Qwen3-235B с длиной последовательности 31K на одном сервере. RoundPipe доступна в качестве открытой Python-библиотеки с исчерпывающей документацией.

English

Fine-tuning Large Language Models (LLMs) on consumer-grade GPUs is highly cost-effective, yet constrained by limited GPU memory and slow PCIe interconnects. Pipeline parallelism combined with CPU offloading mitigates these hardware bottlenecks by reducing communication overhead. However, existing PP schedules suffer from an inherent limitation termed the weight binding issue. Binding uneven model stages (e.g., the LM head is large) to GPUs limits the pipeline's throughput to that of the GPU with the heaviest load, leading to severe pipeline bubbles. In this paper, we propose RoundPipe, a novel pipeline schedule that breaks the weight binding constraint on consumer GPU servers. RoundPipe treats GPUs as a pool of stateless execution workers and dynamically dispatches computation stages across devices in a round-robin manner, achieving a near-zero-bubble pipeline. To ensure training correctness and system efficiency, RoundPipe integrates a priority-aware transfer scheduling engine, a fine-grained distributed event-based synchronization protocol, and an automated layer partitioning algorithm. Evaluations on an 8times RTX 4090 server demonstrate that RoundPipe achieves 1.48--2.16times speedups over state-of-the-art baselines when fine-tuning 1.7B to 32B models. Remarkably, RoundPipe enables LoRA fine-tuning of the Qwen3-235B model with 31K sequence length on a single server. RoundPipe is publicly available as an open-source Python library with comprehensive documentation.