Веб-ориентированное решение для Федеративного обучения с автоматизацией на основе LLM.

A Web-Based Solution for Federated Learning with LLM-Based Automation

August 23, 2024

Авторы: Chamith Mawela, Chaouki Ben Issaid, Mehdi Bennis

cs.AI

Аннотация

Федеративное обучение (FL) предлагает многообещающий подход для совместного машинного обучения на распределенных устройствах. Однако его принятие затруднено сложностью построения надежных архитектур коммуникации и необходимостью экспертизы как в машинном обучении, так и в сетевом программировании. В данной статье представлено комплексное решение, упрощающее оркестрацию задач FL при интеграции автоматизации на основе намерений. Мы разработали удобное веб-приложение, поддерживающее алгоритм федеративного усреднения (FedAvg), позволяющее пользователям настраивать параметры через интуитивный интерфейс. Бэкенд-решение эффективно управляет коммуникацией между сервером параметров и краевыми узлами. Мы также реализовали алгоритмы сжатия модели и планирования для оптимизации производительности FL. Более того, мы исследуем автоматизацию на основе намерений в FL с использованием тонко настроенной языковой модели (LLM), обученной на настроенном наборе данных, позволяя пользователям выполнять задачи FL с использованием высокоуровневых подсказок. Мы отмечаем, что автоматизированное решение на основе LLM достигает сравнимой точности тестирования с стандартным веб-решением, снижая объем переданных байтов до 64% и время ЦП на до 46% для задач FL. Также мы используем поиск нейронной архитектуры (NAS) и оптимизацию гиперпараметров (HPO) с использованием LLM для улучшения производительности. Мы отмечаем, что с использованием этого подхода точность тестирования может быть увеличена на 10-20% для проводимых задач FL.

English

Federated Learning (FL) offers a promising approach for collaborative machine learning across distributed devices. However, its adoption is hindered by the complexity of building reliable communication architectures and the need for expertise in both machine learning and network programming. This paper presents a comprehensive solution that simplifies the orchestration of FL tasks while integrating intent-based automation. We develop a user-friendly web application supporting the federated averaging (FedAvg) algorithm, enabling users to configure parameters through an intuitive interface. The backend solution efficiently manages communication between the parameter server and edge nodes. We also implement model compression and scheduling algorithms to optimize FL performance. Furthermore, we explore intent-based automation in FL using a fine-tuned Language Model (LLM) trained on a tailored dataset, allowing users to conduct FL tasks using high-level prompts. We observe that the LLM-based automated solution achieves comparable test accuracy to the standard web-based solution while reducing transferred bytes by up to 64% and CPU time by up to 46% for FL tasks. Also, we leverage the neural architecture search (NAS) and hyperparameter optimization (HPO) using LLM to improve the performance. We observe that by using this approach test accuracy can be improved by 10-20% for the carried out FL tasks.