Fed-SE: Evolución Autónoma Federada para Agentes de LLM Multi-Entorno con Restricciones de Privacidad

Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents

December 9, 2025

Autores: Xiang Chen, Yuling Shi, Qizhen Lan, Yuchao Qiu, Xiaodong Gu

cs.AI

Resumen

Los agentes de LLM se despliegan ampliamente en tareas interactivas complejas, sin embargo, las restricciones de privacidad a menudo impiden la optimización centralizada y la co-evolución en entornos dinámicos. Si bien el Aprendizaje Federado (FL) ha demostrado ser efectivo en conjuntos de datos estáticos, su extensión a la auto-evolución abierta de agentes sigue estando poco explorada. Aplicar FL estándar directamente es un desafío: las tareas heterogéneas y las recompensas dispersas a nivel de trayectoria introducen graves conflictos de gradiente, desestabilizando el proceso de optimización global. Para cerrar esta brecha, proponemos Fed-SE, un marco de Auto-Evolución Federada para agentes LLM. Fed-SE establece un paradigma de evolución local-agregación global. Localmente, los agentes emplean ajuste fino de parámetros eficientes en trayectorias filtradas de alto rendimiento para lograr actualizaciones de gradiente estables. Globalmente, Fed-SE agrega las actualizaciones dentro de un subespacio de bajo rango que desentrelaza las dinámicas específicas del entorno, reduciendo efectivamente la transferencia negativa entre clientes. Experimentos en cinco entornos heterogéneos demuestran que Fed-SE mejora las tasas promedio de éxito en tareas en aproximadamente un 18% respecto a los baselines federados, validando su efectividad en la transferencia robusta de conocimiento cruzado entre entornos en despliegues con restricciones de privacidad.

English

LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.