Une solution basée sur le Web pour l'apprentissage fédéré avec automatisation basée sur LLM.

A Web-Based Solution for Federated Learning with LLM-Based Automation

August 23, 2024

Auteurs: Chamith Mawela, Chaouki Ben Issaid, Mehdi Bennis

cs.AI

Résumé

L'apprentissage fédéré (FL) offre une approche prometteuse pour l'apprentissage machine collaboratif sur des appareils distribués. Cependant, son adoption est entravée par la complexité de la construction d'architectures de communication fiables et le besoin d'expertise à la fois en apprentissage machine et en programmation réseau. Cet article présente une solution complète qui simplifie l'orchestration des tâches FL tout en intégrant l'automatisation basée sur l'intention. Nous avons développé une application web conviviale prenant en charge l'algorithme de moyenne fédérée (FedAvg), permettant aux utilisateurs de configurer les paramètres via une interface intuitive. La solution backend gère efficacement la communication entre le serveur de paramètres et les nœuds périphériques. Nous avons également mis en œuvre des algorithmes de compression de modèle et de planification pour optimiser les performances de l'apprentissage fédéré. De plus, nous explorons l'automatisation basée sur l'intention dans l'apprentissage fédéré en utilisant un Modèle de Langage (LLM) affiné, entraîné sur un ensemble de données adapté, permettant aux utilisateurs d'effectuer des tâches FL à l'aide de commandes de haut niveau. Nous constatons que la solution automatisée basée sur le LLM atteint une précision de test comparable à la solution basée sur le web standard tout en réduisant le nombre d'octets transférés jusqu'à 64 % et le temps CPU jusqu'à 46 % pour les tâches FL. De plus, nous exploitons la recherche d'architecture neuronale (NAS) et l'optimisation des hyperparamètres (HPO) en utilisant le LLM pour améliorer les performances. Nous constatons qu'en utilisant cette approche, la précision du test peut être améliorée de 10 à 20 % pour les tâches FL effectuées.

English

Federated Learning (FL) offers a promising approach for collaborative machine learning across distributed devices. However, its adoption is hindered by the complexity of building reliable communication architectures and the need for expertise in both machine learning and network programming. This paper presents a comprehensive solution that simplifies the orchestration of FL tasks while integrating intent-based automation. We develop a user-friendly web application supporting the federated averaging (FedAvg) algorithm, enabling users to configure parameters through an intuitive interface. The backend solution efficiently manages communication between the parameter server and edge nodes. We also implement model compression and scheduling algorithms to optimize FL performance. Furthermore, we explore intent-based automation in FL using a fine-tuned Language Model (LLM) trained on a tailored dataset, allowing users to conduct FL tasks using high-level prompts. We observe that the LLM-based automated solution achieves comparable test accuracy to the standard web-based solution while reducing transferred bytes by up to 64% and CPU time by up to 46% for FL tasks. Also, we leverage the neural architecture search (NAS) and hyperparameter optimization (HPO) using LLM to improve the performance. We observe that by using this approach test accuracy can be improved by 10-20% for the carried out FL tasks.