시간을 잘 활용하면 나중에 고생을 덜한다: 언어 모델을 위한 선제적 자기 개선

초록

최근 자기 개선(self-refinement) 분야의 발전은 반복적 개선을 통해 대규모 언어 모델(LLM)의 출력을 향상시킬 수 있는 상당한 잠재력을 보여주었습니다. 그러나 기존의 대부분의 자기 개선 방법은 고정된 반복 횟수를 가진 반응적 프로세스에 의존하고 있어, 생성 과정에서 변화하는 맥락에 따라 최적의 개선 시기와 내용을 결정하기 어렵습니다. 인간이 실행 중에 자신의 생각을 동적으로 개선하는 방식에서 영감을 받아, 우리는 생성 과정에서 LLM이 출력을 개선할 수 있도록 하는 새로운 방법인 ProActive Self-Refinement(PASR)를 제안합니다. 전체 응답을 재생성하는 방법과 달리, PASR은 모델의 내부 상태와 변화하는 맥락을 기반으로 개선 여부, 시기, 방법을 능동적으로 결정합니다. 우리는 PASR의 효과를 평가하기 위해 10가지 다양한 작업에 대한 광범위한 실험을 수행했습니다. 실험 결과, PASR은 문제 해결 성능을 크게 향상시키는 것으로 나타났습니다. 특히, Qwen3-8B 모델에서 PASR은 표준 생성 방식에 비해 평균 토큰 소비량을 41.6% 줄이면서도 정확도에서 8.2%의 개선을 달성했습니다. 논문에서 사용된 모든 코드와 베이스라인은 GitHub에서 확인할 수 있습니다.

English

Recent advances in self-refinement have demonstrated significant potential for improving the outputs of large language models (LLMs) through iterative refinement. However, most existing self-refinement methods rely on a reactive process with a fixed number of iterations, making it difficult to determine the optimal timing and content of refinement based on the evolving generation context. Inspired by the way humans dynamically refine their thoughts during execution, we propose ProActive Self-Refinement (PASR), a novel method that enables LLMs to refine their outputs during the generation process. Unlike methods that regenerate entire responses, PASR proactively decides whether, when, and how to refine based on the model's internal state and evolving context. We conduct extensive experiments on a diverse set of 10 tasks to evaluate the effectiveness of PASR. Experimental results show that PASR significantly enhances problem-solving performance. In particular, on Qwen3-8B, PASR reduces average token consumption by 41.6 percent compared to standard generation, while also achieving an 8.2 percent improvement in accuracy. Our code and all baselines used in the paper are available in the GitHub.

시간을 잘 활용하면 나중에 고생을 덜한다: 언어 모델을 위한 선제적 자기 개선

A Stitch in Time Saves Nine: Proactive Self-Refinement for Language Models

초록

Support