LLM 기반 자동화를 활용한 연합 학습을 위한 웹 기반 솔루션

초록

연합 학습(Federated Learning, FL)은 분산된 장치 간 협력적인 기계 학습을 위한 유망한 접근 방식을 제공합니다. 그러나 신뢰할 수 있는 통신 구조를 구축하는 복잡성과 기계 학습과 네트워크 프로그래밍에 대한 전문 지식이 필요하다는 점으로 인해 채택이 어렵습니다. 본 논문은 FL 작업의 조율을 단순화하고 의도 기반 자동화를 통합하는 포괄적인 솔루션을 제시합니다. 우리는 사용자 친화적인 웹 응용 프로그램을 개발하여 연합 평균(Federated Averaging, FedAvg) 알고리즘을 지원하며, 사용자가 직관적인 인터페이스를 통해 매개 변수를 구성할 수 있도록 합니다. 백엔드 솔루션은 매개 변수 서버와 엣지 노드 간의 효율적인 통신을 관리합니다. 또한 모델 압축 및 일정 알고리즘을 구현하여 FL 성능을 최적화합니다. 더불어 우리는 특정 데이터셋에서 훈련된 세밀하게 조정된 언어 모델(Language Model, LLM)을 활용하여 FL에서 의도 기반 자동화를 탐구하며, 사용자가 고수준 프롬프트를 사용하여 FL 작업을 수행할 수 있도록 합니다. 우리는 LLM 기반 자동화 솔루션이 표준 웹 기반 솔루션과 유사한 테스트 정확도를 달성하면서, FL 작업에서 전송된 바이트를 최대 64% 및 CPU 시간을 최대 46% 줄일 수 있다는 것을 관찰합니다. 또한, 우리는 LLM을 사용하여 신경 아키텍처 탐색(Neural Architecture Search, NAS) 및 하이퍼파라미터 최적화(Hyperparameter Optimization, HPO)를 활용하여 성능을 향상시킵니다. 이러한 방법을 사용하면 수행된 FL 작업의 테스트 정확도를 10-20% 향상시킬 수 있다는 것을 관찰합니다.

English

Federated Learning (FL) offers a promising approach for collaborative machine learning across distributed devices. However, its adoption is hindered by the complexity of building reliable communication architectures and the need for expertise in both machine learning and network programming. This paper presents a comprehensive solution that simplifies the orchestration of FL tasks while integrating intent-based automation. We develop a user-friendly web application supporting the federated averaging (FedAvg) algorithm, enabling users to configure parameters through an intuitive interface. The backend solution efficiently manages communication between the parameter server and edge nodes. We also implement model compression and scheduling algorithms to optimize FL performance. Furthermore, we explore intent-based automation in FL using a fine-tuned Language Model (LLM) trained on a tailored dataset, allowing users to conduct FL tasks using high-level prompts. We observe that the LLM-based automated solution achieves comparable test accuracy to the standard web-based solution while reducing transferred bytes by up to 64% and CPU time by up to 46% for FL tasks. Also, we leverage the neural architecture search (NAS) and hyperparameter optimization (HPO) using LLM to improve the performance. We observe that by using this approach test accuracy can be improved by 10-20% for the carried out FL tasks.

LLM 기반 자동화를 활용한 연합 학습을 위한 웹 기반 솔루션

A Web-Based Solution for Federated Learning with LLM-Based Automation

초록

Support