Un punto a tempo ne salva cento: Affinamento proattivo per i modelli linguistici

A Stitch in Time Saves Nine: Proactive Self-Refinement for Language Models

August 18, 2025

Autori: Jinyi Han, Xinyi Wang, Haiquan Zhao, Tingyun li, Zishang Jiang, Sihang Jiang, Jiaqing Liang, Xin Lin, Weikang Zhou, Zeye Sun, Fei Yu, Yanghua Xiao

cs.AI

Abstract

I recenti progressi nell'auto-affinamento hanno dimostrato un potenziale significativo per migliorare gli output dei grandi modelli linguistici (LLM) attraverso un affinamento iterativo. Tuttavia, la maggior parte dei metodi esistenti di auto-affinamento si basa su un processo reattivo con un numero fisso di iterazioni, rendendo difficile determinare il momento ottimale e il contenuto dell'affinamento in base al contesto di generazione in evoluzione. Ispirati dal modo in cui gli esseri umani affinano dinamicamente i propri pensieri durante l'esecuzione, proponiamo ProActive Self-Refinement (PASR), un metodo innovativo che consente ai LLM di affinare i propri output durante il processo di generazione. A differenza dei metodi che rigenerano intere risposte, PASR decide proattivamente se, quando e come affinare in base allo stato interno del modello e al contesto in evoluzione. Abbiamo condotto esperimenti approfonditi su un insieme diversificato di 10 task per valutare l'efficacia di PASR. I risultati sperimentali mostrano che PASR migliora significativamente le prestazioni nella risoluzione dei problemi. In particolare, su Qwen3-8B, PASR riduce il consumo medio di token del 41,6% rispetto alla generazione standard, ottenendo anche un miglioramento dell'8,2% in termini di accuratezza. Il nostro codice e tutte le baseline utilizzate nel documento sono disponibili su GitHub.

English

Recent advances in self-refinement have demonstrated significant potential for improving the outputs of large language models (LLMs) through iterative refinement. However, most existing self-refinement methods rely on a reactive process with a fixed number of iterations, making it difficult to determine the optimal timing and content of refinement based on the evolving generation context. Inspired by the way humans dynamically refine their thoughts during execution, we propose ProActive Self-Refinement (PASR), a novel method that enables LLMs to refine their outputs during the generation process. Unlike methods that regenerate entire responses, PASR proactively decides whether, when, and how to refine based on the model's internal state and evolving context. We conduct extensive experiments on a diverse set of 10 tasks to evaluate the effectiveness of PASR. Experimental results show that PASR significantly enhances problem-solving performance. In particular, on Qwen3-8B, PASR reduces average token consumption by 41.6 percent compared to standard generation, while also achieving an 8.2 percent improvement in accuracy. Our code and all baselines used in the paper are available in the GitHub.