CASCADE: Adaptação Contínua Baseada em Casos para Grandes Modelos de Linguagem Durante a Implantação

Resumo

Grandes modelos de linguagem (LLMs) tornaram-se uma base central da inteligência artificial moderna, mas seu ciclo de vida ainda é limitado por uma separação rígida entre treinamento e implantação, após a qual o aprendizado efetivamente cessa. Essa limitação contrasta com a inteligência natural, que se adapta continuamente por meio da interação com seu ambiente. Neste artigo, formalizamos o aprendizado durante a implantação (DTL) como o terceiro estágio do ciclo de vida dos LLMs, que permite que agentes LLM melhorem a partir da experiência durante a implantação sem modificar os parâmetros do modelo. Apresentamos o CASCADE (Adaptação Contínua Baseada em Casos durante a Implantação), uma estrutura geral e fundamentada que equipa agentes LLM com uma memória episódica explícita e em evolução. O CASCADE formula o reúso de experiência como um problema de bandido contextual, permitindo compromissos fundamentados entre exploração e explotação e estabelecendo garantias de não-arrependimento em interações de longo prazo. Esse design permite que os agentes acumulem, selecionem e refinem casos relevantes para a tarefa, transformando experiências passadas em conhecimento acionável. Em 16 tarefas diversas, abrangendo diagnóstico médico, análise jurídica, geração de código, busca na web, uso de ferramentas e interação corporificada, o CASCADE melhora a taxa de sucesso média macro em 20,9% em relação ao prompting zero-shot, superando consistentemente as baselines baseadas em gradiente e em memória. Ao reformular a implantação como um processo de aprendizado adaptativo, este trabalho estabelece uma base para sistemas de IA em melhoria contínua.

English

Large language models (LLMs) have become a central foundation of modern artificial intelligence, yet their lifecycle remains constrained by a rigid separation between training and deployment, after which learning effectively ceases. This limitation contrasts with natural intelligence, which continually adapts through interaction with its environment. In this paper, we formalise deployment-time learning (DTL) as the third stage in the LLM lifecycle that enables LLM agents to improve from experience during deployment without modifying model parameters. We present CASCADE (CASe-based Continual Adaptation during DEployment), a general and principled framework that equips LLM agents with an explicit, evolving episodic memory. CASCADE formulates experience reuse as a contextual bandit problem, enabling principled exploration-exploitation trade-offs and establishing no-regret guarantees over long-term interactions. This design allows agents to accumulate, select, and refine task-relevant cases, transforming past experience into actionable knowledge. Across 16 diverse tasks spanning medical diagnosis, legal analysis, code generation, web search, tool use, and embodied interaction, CASCADE improves macro-averaged success rate by 20.9% over zero-shot prompting while consistently outperforming gradient-based and memory-based baselines. By reframing deployment as an adaptive learning process, this work establishes a foundation for continually improving AI systems.