Fed-SE: Gefedereerde Zelf-evolutie voor Privacy-beperkte Multi-omgeving LLM-agenten

Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents

December 9, 2025

Auteurs: Xiang Chen, Yuling Shi, Qizhen Lan, Yuchao Qiu, Xiaodong Gu

cs.AI

Samenvatting

LLM-agents worden op grote schaal ingezet voor complexe interactieve taken, maar privacybeperkingen verhinderen vaak gecentraliseerde optimalisatie en co-evolutie in dynamische omgevingen. Hoewel Federated Learning (FL) zijn effectiviteit heeft bewezen bij statische datasets, blijft de uitbreiding naar de open-einde zelf-evolutie van agents onderbelicht. Het direct toepassen van standaard FL is uitdagend: heterogene taken en schaarse, trajectgebaseerde beloningen introduceren ernstige gradientconflicten, wat het globale optimalisatieproces destabiliseert. Om deze kloof te overbruggen, stellen wij Fed-SE voor, een Federated Self-Evolution raamwerk voor LLM-agents. Fed-SE introduceert een lokaal evolutie-globale aggregatie paradigma. Lokaal gebruiken agents parameter-efficiënte finetuning op gefilterde trajecten met hoge beloning om stabiele gradientupdates te bereiken. Globaal aggregeert Fed-SE updates binnen een laag- dimensionale deelruimte die omgevingsspecifieke dynamieken ontwart, waardoor negatieve kennisoverdracht tussen clients effectief wordt verminderd. Experimenten in vijf heterogene omgevingen tonen aan dat Fed-SE de gemiddelde taaksuccesratio met ongeveer 18% verbetert ten opzichte van federated baseline-methoden, wat de effectiviteit ervan bevestigt voor robuuste kennisoverdracht tussen omgevingen in privacy-gevoelige implementaties.

English

LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.