Combee: Scalabilità dell'Apprendimento da Prompt per Agenti Linguistici Auto-Miglioranti

Abstract

I recenti progressi nell'apprendimento per prompt consentono agli agenti basati su grandi modelli linguistici di acquisire conoscenze rilevanti per il compito dal contesto di inferenza senza modifiche ai parametri. Ad esempio, i metodi esistenti (come ACE o GEPA) possono apprendere prompt di sistema per migliorare l'accuratezza basandosi sulle esecuzioni precedenti dell'agente. Tuttavia, questi metodi si concentrano principalmente su scenari a agente singolo o con basso parallelismo. Ciò limita fondamentalmente la loro capacità di apprendere efficientemente da un ampio insieme di tracce agentistiche raccolte. Sarebbe efficiente e vantaggioso eseguire l'apprendimento per prompt in parallelo per adattarsi alla tendenza crescente di apprendere da molte tracce agentistiche o esecuzioni parallele di agenti. Tuttavia, senza una strategia principiata per il ridimensionamento, i metodi attuali soffrono di un degrado della qualità con alto parallelismo. Per migliorare sia l'efficienza che la qualità dell'apprendimento per prompt, proponiamo Combee, un nuovo framework per scalare l'apprendimento parallelo di prompt per agenti auto-miglioranti. Combee accelera l'apprendimento e consente di eseguire molti agenti in parallelo, apprendendo dalle loro tracce aggregate senza degrado della qualità. Per ottenere ciò, Combee sfrutta le scansioni parallele e impiega un meccanismo di shuffle aumentato; Combee introduce anche un controller dinamico della dimensione del batch per bilanciare qualità e ritardo. Le valutazioni su AppWorld, Terminal-Bench, Formula e FiNER dimostrano che Combee raggiunge un speedup fino a 17x rispetto ai metodi precedenti, con accuratezza comparabile o superiore e costo equivalente.

English

Recent advances in prompt learning allow large language model agents to acquire task-relevant knowledge from inference-time context without parameter changes. For example, existing methods (like ACE or GEPA) can learn system prompts to improve accuracy based on previous agent runs. However, these methods primarily focus on single-agent or low-parallelism settings. This fundamentally limits their ability to efficiently learn from a large set of collected agentic traces. It would be efficient and beneficial to run prompt learning in parallel to accommodate the growing trend of learning from many agentic traces or parallel agent executions. Yet without a principled strategy for scaling, current methods suffer from quality degradation with high parallelism. To improve both the efficiency and quality of prompt learning, we propose Combee, a novel framework to scale parallel prompt learning for self-improving agents. Combee speeds up learning and enables running many agents in parallel while learning from their aggregate traces without quality degradation. To achieve this, Combee leverages parallel scans and employs an augmented shuffle mechanism; Combee also introduces a dynamic batch size controller to balance quality and delay. Evaluations on AppWorld, Terminal-Bench, Formula, and FiNER demonstrate that Combee achieves up to 17x speedup over previous methods with comparable or better accuracy and equivalent cost.

Combee: Scalabilità dell'Apprendimento da Prompt per Agenti Linguistici Auto-Miglioranti

Combee: Scaling Prompt Learning for Self-Improving Language Model Agents

Abstract

Support