Fed-SE: Федерализованное саморазвитие для LLM-агентов в многопользовательских средах с ограничениями конфиденциальности

Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents

December 9, 2025

Авторы: Xiang Chen, Yuling Shi, Qizhen Lan, Yuchao Qiu, Xiaodong Gu

cs.AI

Аннотация

Агенты больших языковых моделей (LLM) широко применяются для решения сложных интерактивных задач, однако ограничения конфиденциальности часто препятствуют централизованной оптимизации и коэволюции в динамических средах. Хотя федеративное обучение (FL) доказало свою эффективность на статических наборах данных, его расширение для открытой самоэволюции агентов остается малоизученным. Прямое применение стандартного FL проблематично: гетерогенные задачи и разреженные вознаграждения на уровне траекторий создают серьезные градиентные конфликты, дестабилизируя процесс глобальной оптимизации. Для преодоления этого разрыва мы предлагаем Fed-SE — фреймворк федеративной самоэволюции для LLM-агентов. Fed-SE реализует парадигму локальной эволюции и глобальной агрегации. На локальном уровне агенты применяют эффективное тонкое настроение параметров на отфильтрованных траекториях с высоким вознаграждением для достижения стабильных градиентных обновлений. На глобальном уровне Fed-SE агрегирует обновления в низкоранговом подпространстве, которое разделяет динамику, специфичную для среды, эффективно снижая негативный перенос между клиентами. Эксперименты в пяти гетерогенных средах демонстрируют, что Fed-SE повышает среднюю успешность выполнения задач примерно на 18% по сравнению с федеративными базовыми методами, подтверждая его эффективность для надежного межсредового переноса знаний в условиях ограничений конфиденциальности.

English

LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.