CASCADE: 展開中の大規模言語モデルのためのケースベース継続的適応

CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment

May 5, 2026

著者: Siyuan Guo, Yali Du, Hechang Chen, Yi Chang, Jun Wang

cs.AI

要旨

大規模言語モデル（LLMs）は現代の人工知能の中心的な基盤となっているが、そのライフサイクルは訓練と展開の間に厳密な分離が存在し、展開後には実質的に学習が停止するという制約を受けている。この制約は、環境との相互作用を通じて継続的に適応する自然な知能とは対照的である。本論文では、展開時学習（DTL）をLLMライフサイクルの第三段階として形式化し、モデルパラメータを変更することなく展開中に経験から改善するLLMエージェントを可能にする。我々は、CASCADE（CASe-based Continual Adaptation during DEployment）を提案する。これは、LLMエージェントに明示的で進化するエピソード記憶を備えた一般的で原理的なフレームワークである。CASCADEは経験の再利用を文脈的バンディット問題として定式化し、原理的な探索と活用のトレードオフを可能にし、長期的な相互作用において無後悔保証を確立する。この設計により、エージェントはタスクに関連する事例を蓄積、選択、洗練し、過去の経験を実践的な知識に変換することができる。医療診断、法律分析、コード生成、ウェブ検索、ツール使用、および具現化された相互作用にわたる16の多様なタスクにおいて、CASCADEはゼロショットプロンプティングに対してマクロ平均成功率を20.9%向上させ、勾配ベースおよび記憶ベースのベースラインを一貫して上回る。展開を適応的な学習プロセスとして再構築することで、本研究は継続的に改善するAIシステムの基盤を確立する。

English

Large language models (LLMs) have become a central foundation of modern artificial intelligence, yet their lifecycle remains constrained by a rigid separation between training and deployment, after which learning effectively ceases. This limitation contrasts with natural intelligence, which continually adapts through interaction with its environment. In this paper, we formalise deployment-time learning (DTL) as the third stage in the LLM lifecycle that enables LLM agents to improve from experience during deployment without modifying model parameters. We present CASCADE (CASe-based Continual Adaptation during DEployment), a general and principled framework that equips LLM agents with an explicit, evolving episodic memory. CASCADE formulates experience reuse as a contextual bandit problem, enabling principled exploration-exploitation trade-offs and establishing no-regret guarantees over long-term interactions. This design allows agents to accumulate, select, and refine task-relevant cases, transforming past experience into actionable knowledge. Across 16 diverse tasks spanning medical diagnosis, legal analysis, code generation, web search, tool use, and embodied interaction, CASCADE improves macro-averaged success rate by 20.9% over zero-shot prompting while consistently outperforming gradient-based and memory-based baselines. By reframing deployment as an adaptive learning process, this work establishes a foundation for continually improving AI systems.