Fed-SE: Federiertes Selbst-Evolution für datenschutzbeschränkte Multi-Umgebungs-LLM-Agenten
Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents
December 9, 2025
papers.authors: Xiang Chen, Yuling Shi, Qizhen Lan, Yuchao Qiu, Xiaodong Gu
cs.AI
papers.abstract
LLM-Agenten werden häufig für komplexe interaktive Aufgaben eingesetzt, doch Datenschutzbeschränkungen verhindern oft eine zentralisierte Optimierung und Ko-Evolution in dynamischen Umgebungen. Während sich Federated Learning (FL) auf statischen Datensätzen als wirksam erwiesen hat, ist seine Erweiterung auf die offene Selbstevolution von Agenten noch wenig erforscht. Die direkte Anwendung von Standard-FL ist herausfordernd: heterogene Aufgaben sowie spärliche, trajectorienbezogene Belohnungen führen zu starken Gradientenkonflikten, die den globalen Optimierungsprozess destabilisieren. Um diese Lücke zu schließen, schlagen wir Fed-SE vor, einen Federated Self-Evolution-Framework für LLM-Agenten. Fed-SE etabliert ein Paradigma aus lokaler Evolution und globaler Aggregation. Lokal nutzen Agenten parameter-effizientes Fine-Tuning auf gefilterten Trajektorien mit hohen Belohnungen, um stabile Gradientenupdates zu erreichen. Global aggregiert Fed-SE Updates innerhalb eines niedrigdimensionalen Teilraums, der umgebungsspezifische Dynamiken entkoppelt und so negative Interferenzen zwischen Clients wirksam reduziert. Experimente in fünf heterogenen Umgebungen zeigen, dass Fed-SE die durchschnittliche Aufgaben-Erfolgsrate um circa 18 % gegenüber föderierten Baseline-Methoden steigert, was seine Wirksamkeit für robusten Wissenstransfer über Umgebungen hinweg unter Datenschutzbeschränkungen validiert.
English
LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.