Fed-SE: Auto-Evolução Federada para Agentes de LLM Multi-Ambiente com Restrições de Privacidade

Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents

December 9, 2025

Autores: Xiang Chen, Yuling Shi, Qizhen Lan, Yuchao Qiu, Xiaodong Gu

cs.AI

Resumo

Os agentes de LLM são amplamente implantados em tarefas interativas complexas, mas as restrições de privacidade frequentemente impedem a otimização centralizada e a coevolução em ambientes dinâmicos. Embora a Aprendizagem Federada (FL) tenha se mostrado eficaz em conjuntos de dados estáticos, sua extensão para a autoevolução aberta de agentes permanece pouco explorada. A aplicação direta da FL padrão é desafiadora: tarefas heterogêneas e recompensas esparsas em nível de trajetória introduzem graves conflitos de gradiente, desestabilizando o processo de otimização global. Para preencher essa lacuna, propomos o Fed-SE, uma estrutura de Autoevolução Federada para agentes de LLM. O Fed-SE estabelece um paradigma de evolução local-agregação global. Localmente, os agentes empregam fine-tuning eficiente em parâmetros sobre trajetórias filtradas de alto retorno para alcançar atualizações de gradiente estáveis. Globalmente, o Fed-SE agrega atualizações dentro de um subespaço de baixa classificação que desacopla dinâmicas específicas do ambiente, reduzindo efetivamente a transferência negativa entre clientes. Experimentos em cinco ambientes heterogêneos demonstram que o Fed-SE melhora as taxas médias de sucesso de tarefas em aproximadamente 18% em relação às linhas de base federadas, validando sua eficácia na transferência robusta de conhecimento entre ambientes em implantações com restrições de privacidade.

English

LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.