Fed-SE : Auto-évolution fédérée pour agents de grands modèles de langage multi-environnements sous contrainte de confidentialité

Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents

December 9, 2025

papers.authors: Xiang Chen, Yuling Shi, Qizhen Lan, Yuchao Qiu, Xiaodong Gu

cs.AI

papers.abstract

Les agents LLM sont largement déployés pour des tâches interactives complexes, mais les contraintes de confidentialité empêchent souvent une optimisation centralisée et une co-évolution dans des environnements dynamiques. Si l'apprentissage fédéré (FL) a fait ses preuves sur des jeux de données statiques, son extension à l'auto-évolution ouverte des agents reste peu explorée. L'application directe du FL standard est difficile : l'hétérogénéité des tâches et des récompenses éparses au niveau des trajectoires introduisent de graves conflits de gradient, déstabilisant le processus d'optimisation globale. Pour combler cette lacune, nous proposons Fed-SE, un cadre d'auto-évolution fédérée pour les agents LLM. Fed-SE établit un paradigme d'évolution locale-agrégation globale. Localement, les agents utilisent un fine-tuning paramétriquement efficace sur des trajectoires filtrées à haut rendement pour obtenir des mises à jour de gradient stables. Globalement, Fed-SE agrège les mises à jour dans un sous-espace de faible rang qui démêle la dynamique spécifique à l'environnement, réduisant efficacement le transfert négatif entre les clients. Des expériences sur cinq environnements hétérogènes démontrent que Fed-SE amène une amélioration d'environ 18% des taux de réussite moyens par rapport aux méthodes fédérées de référence, validant son efficacité pour un transfert de connaissances robuste entre environnements dans des déploiements soumis à des contraintes de confidentialité.

English

LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.