Una Soluzione Web per il Federated Learning con Automazione Basata su LLM

A Web-Based Solution for Federated Learning with LLM-Based Automation

August 23, 2024

Autori: Chamith Mawela, Chaouki Ben Issaid, Mehdi Bennis

cs.AI

Abstract

Il Federated Learning (FL) offre un approccio promettente per l'apprendimento automatico collaborativo su dispositivi distribuiti. Tuttavia, la sua adozione è ostacolata dalla complessità nella costruzione di architetture di comunicazione affidabili e dalla necessità di competenze sia nell'apprendimento automatico che nella programmazione di rete. Questo articolo presenta una soluzione completa che semplifica l'orchestrazione delle attività di FL integrando l'automazione basata su intenti. Sviluppiamo un'applicazione web user-friendly che supporta l'algoritmo di federated averaging (FedAvg), consentendo agli utenti di configurare i parametri attraverso un'interfaccia intuitiva. La soluzione backend gestisce in modo efficiente la comunicazione tra il server dei parametri e i nodi edge. Implementiamo inoltre algoritmi di compressione del modello e di scheduling per ottimizzare le prestazioni del FL. Inoltre, esploriamo l'automazione basata su intenti nel FL utilizzando un Language Model (LLM) fine-tuned addestrato su un dataset personalizzato, permettendo agli utenti di condurre attività di FL utilizzando prompt di alto livello. Osserviamo che la soluzione automatizzata basata su LLM raggiunge un'accuratezza di test comparabile a quella della soluzione web standard, riducendo i byte trasferiti fino al 64% e il tempo di CPU fino al 46% per le attività di FL. Inoltre, sfruttiamo la ricerca di architetture neurali (NAS) e l'ottimizzazione degli iperparametri (HPO) utilizzando LLM per migliorare le prestazioni. Osserviamo che, utilizzando questo approccio, l'accuratezza di test può essere migliorata del 10-20% per le attività di FL svolte.

English

Federated Learning (FL) offers a promising approach for collaborative machine learning across distributed devices. However, its adoption is hindered by the complexity of building reliable communication architectures and the need for expertise in both machine learning and network programming. This paper presents a comprehensive solution that simplifies the orchestration of FL tasks while integrating intent-based automation. We develop a user-friendly web application supporting the federated averaging (FedAvg) algorithm, enabling users to configure parameters through an intuitive interface. The backend solution efficiently manages communication between the parameter server and edge nodes. We also implement model compression and scheduling algorithms to optimize FL performance. Furthermore, we explore intent-based automation in FL using a fine-tuned Language Model (LLM) trained on a tailored dataset, allowing users to conduct FL tasks using high-level prompts. We observe that the LLM-based automated solution achieves comparable test accuracy to the standard web-based solution while reducing transferred bytes by up to 64% and CPU time by up to 46% for FL tasks. Also, we leverage the neural architecture search (NAS) and hyperparameter optimization (HPO) using LLM to improve the performance. We observe that by using this approach test accuracy can be improved by 10-20% for the carried out FL tasks.