時を縫えば九を救う：言語モデルのための先見的な自己改善

要旨

近年の自己改良技術の進展により、大規模言語モデル（LLM）の出力を反復的に改良することで、その性能を大幅に向上させる可能性が示されています。しかし、既存の自己改良手法の多くは、固定された反復回数に基づく受動的なプロセスに依存しており、生成コンテキストの変化に応じて最適な改良のタイミングや内容を決定することが困難です。人間が実行中に思考を動的に改良する方法に着想を得て、本研究ではProActive Self-Refinement（PASR）という新しい手法を提案します。PASRは、LLMが生成プロセス中に出力を改良することを可能にします。従来の手法とは異なり、PASRはモデルの内部状態と変化するコンテキストに基づいて、改良を行うかどうか、いつ行うか、どのように行うかを積極的に決定します。我々は、10の多様なタスクを用いてPASRの有効性を評価するための広範な実験を実施しました。実験結果は、PASRが問題解決性能を大幅に向上させることを示しています。特に、Qwen3-8Bにおいて、PASRは標準的な生成と比較して平均トークン消費量を41.6％削減し、同時に精度を8.2％向上させました。本論文で使用したコードとすべてのベースラインはGitHubで公開されています。

English

Recent advances in self-refinement have demonstrated significant potential for improving the outputs of large language models (LLMs) through iterative refinement. However, most existing self-refinement methods rely on a reactive process with a fixed number of iterations, making it difficult to determine the optimal timing and content of refinement based on the evolving generation context. Inspired by the way humans dynamically refine their thoughts during execution, we propose ProActive Self-Refinement (PASR), a novel method that enables LLMs to refine their outputs during the generation process. Unlike methods that regenerate entire responses, PASR proactively decides whether, when, and how to refine based on the model's internal state and evolving context. We conduct extensive experiments on a diverse set of 10 tasks to evaluate the effectiveness of PASR. Experimental results show that PASR significantly enhances problem-solving performance. In particular, on Qwen3-8B, PASR reduces average token consumption by 41.6 percent compared to standard generation, while also achieving an 8.2 percent improvement in accuracy. Our code and all baselines used in the paper are available in the GitHub.

時を縫えば九を救う：言語モデルのための先見的な自己改善

A Stitch in Time Saves Nine: Proactive Self-Refinement for Language Models

要旨

Support