Fed-SE: Auto-evoluzione Federata per Agenti LLM Multi-Ambiente con Vincoli di Privacy

Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents

December 9, 2025

Autori: Xiang Chen, Yuling Shi, Qizhen Lan, Yuchao Qiu, Xiaodong Gu

cs.AI

Abstract

Gli agenti LLM sono ampiamente impiegati in compiti interattivi complessi, sebbene i vincoli sulla privacy spesso impediscano un'ottimizzazione centralizzata e una co-evoluzione attraverso ambienti dinamici. Sebbene l'Apprendimento Federato (FL) si sia dimostrato efficace su dataset statici, la sua estensione all'auto-evoluzione aperta degli agenti rimane poco esplorata. Applicare direttamente il FL standard è complesso: compiti eterogenei e ricompense sparse a livello di traiettoria introducono gravi conflitti di gradiente, destabilizzando il processo di ottimizzazione globale. Per colmare questa lacuna, proponiamo Fed-SE, un framework di Auto-Evoluzione Federata per agenti LLM. Fed-SE stabilisce un paradigma di evoluzione locale-aggregazione globale. Localmente, gli agenti impiegano un fine-tuning efficiente in parametri su traiettorie filtrate ad alto rendimento per ottenere aggiornamenti di gradiente stabili. Globalmente, Fed-SE aggrega gli aggiornamenti all'interno di un sottospazio a basso rango che separa le dinamiche specifiche dell'ambiente, riducendo efficacemente il trasferimento negativo tra client. Esperimenti condotti in cinque ambienti eterogenei dimostrano che Fed-SE migliora i tassi di successo medi dei compiti di circa il 18% rispetto ai baseline federati, validandone l'efficacia nel trasferimento robusto di conoscenze cross-ambiente in implementazioni con vincoli di privacy.

English

LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.