Een webgebaseerde oplossing voor Federated Learning met LLM-gestuurde automatisering

A Web-Based Solution for Federated Learning with LLM-Based Automation

August 23, 2024

Auteurs: Chamith Mawela, Chaouki Ben Issaid, Mehdi Bennis

cs.AI

Samenvatting

Federated Learning (FL) biedt een veelbelovende aanpak voor collaboratieve machine learning over gedistribueerde apparaten. De adoptie ervan wordt echter belemmerd door de complexiteit van het bouwen van betrouwbare communicatiearchitecturen en de noodzaak van expertise in zowel machine learning als netwerkprogrammering. Dit artikel presenteert een uitgebreide oplossing die de coördinatie van FL-taken vereenvoudigt terwijl intent-gebaseerde automatisering wordt geïntegreerd. We ontwikkelen een gebruiksvriendelijke webapplicatie die het federated averaging (FedAvg) algoritme ondersteunt, waardoor gebruikers parameters kunnen configureren via een intuïtieve interface. De backend-oplossing beheert efficiënt de communicatie tussen de parameterserver en edge nodes. We implementeren ook modelcompressie en planningsalgoritmen om de FL-prestaties te optimaliseren. Daarnaast onderzoeken we intent-gebaseerde automatisering in FL met behulp van een fijn afgestemd Taalmodel (LLM) dat is getraind op een aangepaste dataset, waardoor gebruikers FL-taken kunnen uitvoeren met behulp van hoogwaardige prompts. We observeren dat de LLM-gebaseerde geautomatiseerde oplossing een vergelijkbare testnauwkeurigheid bereikt als de standaard webgebaseerde oplossing, terwijl het aantal overgedragen bytes met tot 64% en de CPU-tijd met tot 46% wordt verminderd voor FL-taken. Bovendien benutten we neurale architectuurzoekopdrachten (NAS) en hyperparameteroptimalisatie (HPO) met behulp van LLM om de prestaties te verbeteren. We observeren dat door deze aanpak de testnauwkeurigheid met 10-20% kan worden verbeterd voor de uitgevoerde FL-taken.

English

Federated Learning (FL) offers a promising approach for collaborative machine learning across distributed devices. However, its adoption is hindered by the complexity of building reliable communication architectures and the need for expertise in both machine learning and network programming. This paper presents a comprehensive solution that simplifies the orchestration of FL tasks while integrating intent-based automation. We develop a user-friendly web application supporting the federated averaging (FedAvg) algorithm, enabling users to configure parameters through an intuitive interface. The backend solution efficiently manages communication between the parameter server and edge nodes. We also implement model compression and scheduling algorithms to optimize FL performance. Furthermore, we explore intent-based automation in FL using a fine-tuned Language Model (LLM) trained on a tailored dataset, allowing users to conduct FL tasks using high-level prompts. We observe that the LLM-based automated solution achieves comparable test accuracy to the standard web-based solution while reducing transferred bytes by up to 64% and CPU time by up to 46% for FL tasks. Also, we leverage the neural architecture search (NAS) and hyperparameter optimization (HPO) using LLM to improve the performance. We observe that by using this approach test accuracy can be improved by 10-20% for the carried out FL tasks.