Fed-SE: プライバシー制約下におけるマルチ環境LLMエージェントのための連合自己進化

要旨

大規模言語モデル（LLM）エージェントは複雑な対話型タスクに広く展開されているが、プライバシー制約のため、動的環境における集中型最適化や共進化が妨げられることが多い。連合学習（FL）は静的なデータセットにおいて有効性が実証されているものの、エージェントのオープンエンドな自己進化への拡張は未開拓の領域である。標準的なFLを直接適用するには課題がある。異種混合のタスクと疎な軌道レベルの報酬は深刻な勾配衝突を引き起こし、大域的最適化プロセスを不安定にする。このギャップを埋めるため、我々はLLMエージェントのための連合自己進化フレームワーク「Fed-SE」を提案する。Fed-SEは「局所的進化‐大域的集約」のパラダイムを確立する。局所的には、エージェントはフィルタリングされた高リターンの軌道に対してパラメータ効率的なファインチューニングを適用し、安定した勾配更新を実現する。大域的には、Fed-SEは環境固有のダイナミクスを分離する低ランク部分空間内で更新を集約し、クライアント間の負の転移を効果的に低減する。5つの異種環境での実験により、Fed-SEが連合学習ベースラインと比較して平均タスク成功率を約18%向上させ、プライバシー制約下での展開において、ロバストな環境間知識転送における有効性が実証された。

English

LLM agents are widely deployed in complex interactive tasks, yet privacy constraints often preclude centralized optimization and co-evolution across dynamic environments. While Federated Learning (FL) has proven effective on static datasets, its extension to the open-ended self-evolution of agents remains underexplored. Directly applying standard FL is challenging: heterogeneous tasks and sparse, trajectory-level rewards introduce severe gradient conflicts, destabilizing the global optimization process. To bridge this gap, we propose Fed-SE, a Federated Self-Evolution framework for LLM agents. Fed-SE establishes a local evolution-global aggregation paradigm. Locally, agents employ parameter-efficient fine-tuning on filtered, high-return trajectories to achieve stable gradient updates. Globally, Fed-SE aggregates updates within a low-rank subspace that disentangles environment-specific dynamics, effectively reducing negative transfer across clients. Experiments across five heterogeneous environments demonstrate that Fed-SE improves average task success rates by approximately 18% over federated baselines, validating its effectiveness in robust cross-environment knowledge transfer in privacy-constrained deployments.

Fed-SE: プライバシー制約下におけるマルチ環境LLMエージェントのための連合自己進化

Fed-SE: Federated Self-Evolution for Privacy-Constrained Multi-Environment LLM Agents

要旨

Support