Reasoning Vektoren: Übertragung von Chain-of-Thought-Fähigkeiten durch Aufgabenarithmetik

Reasoning Vectors: Transferring Chain-of-Thought Capabilities via Task Arithmetic

September 1, 2025

papers.authors: Mohammad Zbeeb, Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

papers.abstract

Große Sprachmodelle erfordern oft kostspielige Optimierungsverfahren, wie beispielsweise Reinforcement Learning, um komplexe Denkaufgaben zu meistern. Diese Arbeit zeigt, dass die Fähigkeit zum logischen Denken, sobald sie erlernt wurde, als kompakter Aufgabenvektor extrahiert und zwischen Modellen übertragen werden kann. Wir verwenden zwei öffentlich verfügbare, identisch initialisierte Qwen2.5-Modelle, von denen eines mit Supervised Fine-Tuning (SFT) und das andere mit Group Relative Policy Optimization (GRPO) auf demselben Datensatz feinabgestimmt wurde. Daraus extrahieren wir einen Denkvektor: v_{reason} = theta_{GRPO} - theta_{SFT}. Wir nehmen an, dass dieser Vektor die durch Reinforcement Learning vermittelte Denkfähigkeit erfasst, während gemeinsames Wissen aus dem SFT-Prozess herausgefiltert wird. Wenn dieser Vektor durch einfache arithmetische Operationen zu kompatiblen, instruktionsfeinabgestimmten Modellen hinzugefügt wird, verbessert er konsistent die Leistung über diverse Denkbenchmarks hinweg: GSM8K (+4,9 %), HumanEval (+4,3 %), SciQ (+1,7 %) und BigBenchHard (+12,3 % für das 1,5B-Modell). Die Leistungsverbesserungen bleiben auch unter adversen Bedingungen bestehen. Umgekehrt führt das Subtrahieren des Vektors zu einer signifikanten Leistungsverschlechterung (-11,8 % bei GSM8K), was den starken Beitrag des Vektors zu den Denkfähigkeiten des Modells verdeutlicht. Diese Arbeit zeigt, wie Denkfähigkeiten, die typischerweise durch teures Training entwickelt werden, aus bestehenden Open-Source-Modellen extrahiert und durch einfache Tensorarithmetik wiederverwendet werden können, was eine praktische Möglichkeit bietet, Modelle durch die Wiederverwendung früherer Recheninvestitionen zu verbessern.

English

Large language models often require costly optimization, such as reinforcement learning, to master complex reasoning tasks. This work demonstrates that reasoning ability, once learned, can be extracted and transferred between models as a compact task vector. We source two publicly available, identically initialized Qwen2.5 models, one fine-tuned with supervised fine-tuning (SFT) and the other with group relative policy optimization (GRPO) on the same dataset. From these, we extract a reasoning vector: v_{reason} = theta_{GRPO} - theta_{SFT}. We hypothesize that this vector captures the reasoning capability instilled by reinforcement learning while factoring out shared knowledge from the SFT process. When added to compatible instruction-tuned models through simple arithmetic, this vector consistently improves performance across diverse reasoning benchmarks: GSM8K (+4.9%), HumanEval (+4.3%), SciQ (+1.7%), and BigBenchHard (+12.3% for the 1.5B model). The performance improvements persist under adversarial conditions. Conversely, subtracting the vector causes significant performance degradation (-11.8% on GSM8K), demonstrating the vector's strong contribution to the model's reasoning abilities. This work shows how reasoning capabilities, typically developed through expensive training, can be extracted from existing open-source models and reused through simple tensor arithmetic, offering a practical way to enhance models by recycling prior computational investments.