Vectores de Razonamiento: Transferencia de Capacidades de Cadena de Pensamiento mediante Aritmética de Tareas

Reasoning Vectors: Transferring Chain-of-Thought Capabilities via Task Arithmetic

September 1, 2025

Autores: Mohammad Zbeeb, Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Resumen

Los grandes modelos de lenguaje a menudo requieren optimizaciones costosas, como el aprendizaje por refuerzo, para dominar tareas de razonamiento complejas. Este trabajo demuestra que la capacidad de razonamiento, una vez aprendida, puede extraerse y transferirse entre modelos como un vector de tarea compacto. Utilizamos dos modelos Qwen2.5 disponibles públicamente e inicializados de manera idéntica, uno ajustado mediante fine-tuning supervisado (SFT) y el otro con optimización de políticas relativas por grupos (GRPO) sobre el mismo conjunto de datos. A partir de estos, extraemos un vector de razonamiento: v_{razonamiento} = theta_{GRPO} - theta_{SFT}. Hipótesis que este vector captura la capacidad de razonamiento inculcada por el aprendizaje por refuerzo mientras elimina el conocimiento compartido del proceso SFT. Cuando se añade a modelos compatibles ajustados por instrucciones mediante aritmética simple, este vector mejora consistentemente el rendimiento en diversos benchmarks de razonamiento: GSM8K (+4.9%), HumanEval (+4.3%), SciQ (+1.7%) y BigBenchHard (+12.3% para el modelo de 1.5B). Las mejoras de rendimiento persisten bajo condiciones adversas. Por el contrario, restar el vector causa una degradación significativa del rendimiento (-11.8% en GSM8K), demostrando la fuerte contribución del vector a las habilidades de razonamiento del modelo. Este trabajo muestra cómo las capacidades de razonamiento, típicamente desarrolladas mediante entrenamientos costosos, pueden extraerse de modelos de código abierto existentes y reutilizarse mediante aritmética tensorial simple, ofreciendo una forma práctica de mejorar los modelos reciclando inversiones computacionales previas.

English

Large language models often require costly optimization, such as reinforcement learning, to master complex reasoning tasks. This work demonstrates that reasoning ability, once learned, can be extracted and transferred between models as a compact task vector. We source two publicly available, identically initialized Qwen2.5 models, one fine-tuned with supervised fine-tuning (SFT) and the other with group relative policy optimization (GRPO) on the same dataset. From these, we extract a reasoning vector: v_{reason} = theta_{GRPO} - theta_{SFT}. We hypothesize that this vector captures the reasoning capability instilled by reinforcement learning while factoring out shared knowledge from the SFT process. When added to compatible instruction-tuned models through simple arithmetic, this vector consistently improves performance across diverse reasoning benchmarks: GSM8K (+4.9%), HumanEval (+4.3%), SciQ (+1.7%), and BigBenchHard (+12.3% for the 1.5B model). The performance improvements persist under adversarial conditions. Conversely, subtracting the vector causes significant performance degradation (-11.8% on GSM8K), demonstrating the vector's strong contribution to the model's reasoning abilities. This work shows how reasoning capabilities, typically developed through expensive training, can be extracted from existing open-source models and reused through simple tensor arithmetic, offering a practical way to enhance models by recycling prior computational investments.