Een steek in tijd bespaart negen: Proactieve zelfverfijning voor taalmodelen

Samenvatting

Recente vooruitgang in zelfverfijning heeft aanzienlijk potentieel getoond voor het verbeteren van de uitvoer van grote taalmmodellen (LLM's) door middel van iteratieve verfijning. De meeste bestaande methoden voor zelfverfijning zijn echter gebaseerd op een reactief proces met een vast aantal iteraties, waardoor het moeilijk is om het optimale moment en de inhoud van de verfijning te bepalen op basis van de zich ontwikkelende generatiecontext. Geïnspireerd door de manier waarop mensen hun gedachten dynamisch verfijnen tijdens uitvoering, stellen we ProActive Self-Refinement (PASR) voor, een nieuwe methode die LLM's in staat stelt hun uitvoer te verfijnen tijdens het generatieproces. In tegenstelling tot methoden die volledige reacties opnieuw genereren, beslist PASR proactief of, wanneer en hoe te verfijnen op basis van de interne staat van het model en de zich ontwikkelende context. We voeren uitgebreide experimenten uit op een diverse set van 10 taken om de effectiviteit van PASR te evalueren. Experimentele resultaten tonen aan dat PASR de probleemoplossende prestaties aanzienlijk verbetert. In het bijzonder reduceert PASR op Qwen3-8B het gemiddelde tokenverbruik met 41,6 procent vergeleken met standaardgeneratie, terwijl het ook een verbetering van 8,2 procent in nauwkeurigheid bereikt. Onze code en alle referentiemodellen die in het artikel worden gebruikt, zijn beschikbaar op GitHub.

English

Recent advances in self-refinement have demonstrated significant potential for improving the outputs of large language models (LLMs) through iterative refinement. However, most existing self-refinement methods rely on a reactive process with a fixed number of iterations, making it difficult to determine the optimal timing and content of refinement based on the evolving generation context. Inspired by the way humans dynamically refine their thoughts during execution, we propose ProActive Self-Refinement (PASR), a novel method that enables LLMs to refine their outputs during the generation process. Unlike methods that regenerate entire responses, PASR proactively decides whether, when, and how to refine based on the model's internal state and evolving context. We conduct extensive experiments on a diverse set of 10 tasks to evaluate the effectiveness of PASR. Experimental results show that PASR significantly enhances problem-solving performance. In particular, on Qwen3-8B, PASR reduces average token consumption by 41.6 percent compared to standard generation, while also achieving an 8.2 percent improvement in accuracy. Our code and all baselines used in the paper are available in the GitHub.

Een steek in tijd bespaart negen: Proactieve zelfverfijning voor taalmodelen

A Stitch in Time Saves Nine: Proactive Self-Refinement for Language Models

Samenvatting

Support