Uma Solução Baseada na Web para Aprendizado Federado com Automação Baseada em LLM.

A Web-Based Solution for Federated Learning with LLM-Based Automation

August 23, 2024

Autores: Chamith Mawela, Chaouki Ben Issaid, Mehdi Bennis

cs.AI

Resumo

A Aprendizagem Federada (FL) oferece uma abordagem promissora para o aprendizado colaborativo de máquinas em dispositivos distribuídos. No entanto, sua adoção é dificultada pela complexidade de construir arquiteturas de comunicação confiáveis e pela necessidade de expertise tanto em aprendizado de máquina quanto em programação de redes. Este artigo apresenta uma solução abrangente que simplifica a orquestração de tarefas de FL enquanto integra automação baseada em intenções. Desenvolvemos uma aplicação web amigável que suporta o algoritmo de média federada (FedAvg), permitindo que os usuários configurem parâmetros por meio de uma interface intuitiva. A solução de backend gerencia de forma eficiente a comunicação entre o servidor de parâmetros e os nós de borda. Também implementamos algoritmos de compressão de modelo e agendamento para otimizar o desempenho do FL. Além disso, exploramos a automação baseada em intenções no FL usando um Modelo de Linguagem Ajustado (LLM) treinado em um conjunto de dados personalizado, permitindo que os usuários realizem tarefas de FL usando prompts de alto nível. Observamos que a solução automatizada baseada em LLM alcança uma precisão de teste comparável à solução baseada na web padrão, reduzindo a quantidade de bytes transferidos em até 64% e o tempo de CPU em até 46% para tarefas de FL. Além disso, aproveitamos a busca de arquitetura neural (NAS) e a otimização de hiperparâmetros (HPO) usando LLM para melhorar o desempenho. Observamos que, ao usar essa abordagem, a precisão do teste pode ser melhorada em 10-20% para as tarefas de FL realizadas.

English

Federated Learning (FL) offers a promising approach for collaborative machine learning across distributed devices. However, its adoption is hindered by the complexity of building reliable communication architectures and the need for expertise in both machine learning and network programming. This paper presents a comprehensive solution that simplifies the orchestration of FL tasks while integrating intent-based automation. We develop a user-friendly web application supporting the federated averaging (FedAvg) algorithm, enabling users to configure parameters through an intuitive interface. The backend solution efficiently manages communication between the parameter server and edge nodes. We also implement model compression and scheduling algorithms to optimize FL performance. Furthermore, we explore intent-based automation in FL using a fine-tuned Language Model (LLM) trained on a tailored dataset, allowing users to conduct FL tasks using high-level prompts. We observe that the LLM-based automated solution achieves comparable test accuracy to the standard web-based solution while reducing transferred bytes by up to 64% and CPU time by up to 46% for FL tasks. Also, we leverage the neural architecture search (NAS) and hyperparameter optimization (HPO) using LLM to improve the performance. We observe that by using this approach test accuracy can be improved by 10-20% for the carried out FL tasks.