Agenti LLM con Auto-Miglioramento durante il Test

Self-Improving LLM Agents at Test-Time

October 9, 2025

Autori: Emre Can Acikgoz, Cheng Qian, Heng Ji, Dilek Hakkani-Tür, Gokhan Tur

cs.AI

Abstract

Un paradigma di fine-tuning dei modelli linguistici (LM) si basa sulla creazione di grandi dataset di addestramento, presupponendo che quantità e diversità elevate consentano ai modelli di generalizzare su nuovi compiti dopo il post-training. Nella pratica, raccogliere grandi quantità di dati è inefficiente e addestrarli è proibitivamente costoso; peggio ancora, non vi è alcuna garanzia che il modello risultante gestisca scenari complessi o generalizzi meglio. Inoltre, le tecniche esistenti raramente valutano se un campione di addestramento fornisca informazioni nuove o sia ridondante rispetto alle conoscenze già acquisite dal modello, portando a costi non necessari. In questo lavoro, esploriamo un nuovo metodo di auto-miglioramento al momento del test per creare LM agentivi più efficaci e generalizzabili in tempo reale. L'algoritmo proposto può essere riassunto in tre passaggi: (i) prima identifica i campioni con cui il modello ha difficoltà (auto-consapevolezza), (ii) poi genera esempi simili dai campioni incerti rilevati (auto-aumento dei dati), e (iii) utilizza questi nuovi campioni generati per il fine-tuning al momento del test (auto-miglioramento). Studiamo due varianti di questo approccio: Auto-Miglioramento al Momento del Test (TT-SI), in cui lo stesso modello genera ulteriori esempi di addestramento dai propri casi incerti e poi impara da essi, e confrontiamo questo approccio con la Distillazione al Momento del Test (TT-D), in cui un modello più forte genera esempi simili per i casi incerti, consentendo allo studente di adattarsi utilizzando una supervisione distillata. Le valutazioni empiriche su diversi benchmark agentivi dimostrano che TT-SI migliora le prestazioni con un guadagno medio di accuratezza assoluta del +5,48% su tutti i benchmark e supera altri metodi di apprendimento standard, utilizzando però 68 volte meno campioni di addestramento. I nostri risultati evidenziano le potenzialità di TT-SI, dimostrando il potenziale degli algoritmi di auto-miglioramento al momento del test come nuovo paradigma per costruire agenti più capaci verso l'auto-evoluzione.

English

One paradigm of language model (LM) fine-tuning relies on creating large training datasets, under the assumption that high quantity and diversity will enable models to generalize to novel tasks after post-training. In practice, gathering large sets of data is inefficient, and training on them is prohibitively expensive; worse, there is no guarantee that the resulting model will handle complex scenarios or generalize better. Moreover, existing techniques rarely assess whether a training sample provides novel information or is redundant with the knowledge already acquired by the model, resulting in unnecessary costs. In this work, we explore a new test-time self-improvement method to create more effective and generalizable agentic LMs on-the-fly. The proposed algorithm can be summarized in three steps: (i) first it identifies the samples that model struggles with (self-awareness), (ii) then generates similar examples from detected uncertain samples (self-data augmentation), and (iii) uses these newly generated samples at test-time fine-tuning (self-improvement). We study two variants of this approach: Test-Time Self-Improvement (TT-SI), where the same model generates additional training examples from its own uncertain cases and then learns from them, and contrast this approach with Test-Time Distillation (TT-D), where a stronger model generates similar examples for uncertain cases, enabling student to adapt using distilled supervision. Empirical evaluations across different agent benchmarks demonstrate that TT-SI improves the performance with +5.48% absolute accuracy gain on average across all benchmarks and surpasses other standard learning methods, yet using 68x less training samples. Our findings highlight the promise of TT-SI, demonstrating the potential of self-improvement algorithms at test-time as a new paradigm for building more capable agents toward self-evolution.