Eine webbasierte Lösung für Föderiertes Lernen mit LLM-basierter Automatisierung.

A Web-Based Solution for Federated Learning with LLM-Based Automation

August 23, 2024

Autoren: Chamith Mawela, Chaouki Ben Issaid, Mehdi Bennis

cs.AI

Zusammenfassung

Federated Learning (FL) bietet einen vielversprechenden Ansatz für kollaboratives maschinelles Lernen über verteilte Geräte hinweg. Allerdings wird seine Akzeptanz durch die Komplexität beim Aufbau zuverlässiger Kommunikationsarchitekturen und den Bedarf an Fachwissen sowohl im maschinellen Lernen als auch in der Netzwerkprogrammierung behindert. Dieses Papier präsentiert eine umfassende Lösung, die die Orchestrierung von FL-Aufgaben vereinfacht und Intent-basierte Automatisierung integriert. Wir entwickeln eine benutzerfreundliche Webanwendung, die den Federated Averaging (FedAvg) Algorithmus unterstützt und es Benutzern ermöglicht, Parameter über eine intuitive Benutzeroberfläche zu konfigurieren. Die Backend-Lösung verwaltet effizient die Kommunikation zwischen dem Parameter-Server und den Edge-Nodes. Wir implementieren auch Modellkomprimierungs- und Zeitplanungsalgorithmen, um die Leistung von FL zu optimieren. Darüber hinaus erforschen wir die Intent-basierte Automatisierung in FL mithilfe eines feinabgestimmten Sprachmodells (LLM), das auf einem maßgeschneiderten Datensatz trainiert wurde, um Benutzern die Durchführung von FL-Aufgaben mithilfe von High-Level-Promptings zu ermöglichen. Wir beobachten, dass die auf LLM basierende automatisierte Lösung eine vergleichbare Testgenauigkeit wie die Standard-Weblösung erreicht, während die übertragenen Bytes um bis zu 64% und die CPU-Zeit um bis zu 46% für FL-Aufgaben reduziert werden. Außerdem nutzen wir die Suche nach neuronalen Architekturen (NAS) und die Hyperparameteroptimierung (HPO) mithilfe von LLM, um die Leistung zu verbessern. Wir beobachten, dass durch die Verwendung dieses Ansatzes die Testgenauigkeit für die durchgeführten FL-Aufgaben um 10-20% verbessert werden kann.

English

Federated Learning (FL) offers a promising approach for collaborative machine learning across distributed devices. However, its adoption is hindered by the complexity of building reliable communication architectures and the need for expertise in both machine learning and network programming. This paper presents a comprehensive solution that simplifies the orchestration of FL tasks while integrating intent-based automation. We develop a user-friendly web application supporting the federated averaging (FedAvg) algorithm, enabling users to configure parameters through an intuitive interface. The backend solution efficiently manages communication between the parameter server and edge nodes. We also implement model compression and scheduling algorithms to optimize FL performance. Furthermore, we explore intent-based automation in FL using a fine-tuned Language Model (LLM) trained on a tailored dataset, allowing users to conduct FL tasks using high-level prompts. We observe that the LLM-based automated solution achieves comparable test accuracy to the standard web-based solution while reducing transferred bytes by up to 64% and CPU time by up to 46% for FL tasks. Also, we leverage the neural architecture search (NAS) and hyperparameter optimization (HPO) using LLM to improve the performance. We observe that by using this approach test accuracy can be improved by 10-20% for the carried out FL tasks.