推論ベクトル：タスク演算による連鎖思考能力の転移

要旨

大規模言語モデルは、複雑な推論タスクを習得するために、強化学習などのコストのかかる最適化を必要とすることが多い。本研究では、一度学習された推論能力を、コンパクトなタスクベクトルとしてモデル間で抽出・転移できることを示す。我々は、同一の初期化が施された2つの公開済みQwen2.5モデルを用意し、一方は教師ありファインチューニング（SFT）を、もう一方は同じデータセットに対してグループ相対ポリシー最適化（GRPO）を適用してファインチューニングした。これらから、推論ベクトルv_{reason} = theta_{GRPO} - theta_{SFT}を抽出する。このベクトルは、強化学習によって獲得された推論能力を捉えつつ、SFTプロセスから得られた共有知識を除去していると仮定する。このベクトルを互換性のある指示チューニング済みモデルに単純な算術演算で加えることで、多様な推論ベンチマークで一貫して性能が向上する：GSM8K（+4.9%）、HumanEval（+4.3%）、SciQ（+1.7%）、BigBenchHard（1.5Bモデルで+12.3%）。この性能向上は、敵対的条件下でも持続する。逆に、このベクトルを減算すると、GSM8Kで-11.8%と大幅な性能低下が生じ、ベクトルがモデルの推論能力に大きく寄与していることが示される。本研究は、通常は高コストなトレーニングを通じて開発される推論能力を、既存のオープンソースモデルから抽出し、単純なテンソル演算で再利用できることを示し、過去の計算投資をリサイクルしてモデルを強化する実用的な方法を提供する。

English

Large language models often require costly optimization, such as reinforcement learning, to master complex reasoning tasks. This work demonstrates that reasoning ability, once learned, can be extracted and transferred between models as a compact task vector. We source two publicly available, identically initialized Qwen2.5 models, one fine-tuned with supervised fine-tuning (SFT) and the other with group relative policy optimization (GRPO) on the same dataset. From these, we extract a reasoning vector: v_{reason} = theta_{GRPO} - theta_{SFT}. We hypothesize that this vector captures the reasoning capability instilled by reinforcement learning while factoring out shared knowledge from the SFT process. When added to compatible instruction-tuned models through simple arithmetic, this vector consistently improves performance across diverse reasoning benchmarks: GSM8K (+4.9%), HumanEval (+4.3%), SciQ (+1.7%), and BigBenchHard (+12.3% for the 1.5B model). The performance improvements persist under adversarial conditions. Conversely, subtracting the vector causes significant performance degradation (-11.8% on GSM8K), demonstrating the vector's strong contribution to the model's reasoning abilities. This work shows how reasoning capabilities, typically developed through expensive training, can be extracted from existing open-source models and reused through simple tensor arithmetic, offering a practical way to enhance models by recycling prior computational investments.

推論ベクトル：タスク演算による連鎖思考能力の転移

Reasoning Vectors: Transferring Chain-of-Thought Capabilities via Task Arithmetic

要旨

Support