Векторы рассуждений: передача возможностей цепочки мыслей через арифметику задач

Reasoning Vectors: Transferring Chain-of-Thought Capabilities via Task Arithmetic

September 1, 2025

Авторы: Mohammad Zbeeb, Hasan Abed Al Kader Hammoud, Bernard Ghanem

cs.AI

Аннотация

Крупные языковые модели часто требуют дорогостоящей оптимизации, такой как обучение с подкреплением, для освоения сложных задач логического рассуждения. В данной работе показано, что способность к рассуждению, однажды освоенная, может быть извлечена и передана между моделями в виде компактного вектора задачи. Мы используем две общедоступные модели Qwen2.5 с идентичной инициализацией, одна из которых дообучена с помощью контролируемого тонкого настройки (SFT), а другая — с использованием групповой относительной оптимизации политики (GRPO) на одном и том же наборе данных. Из них мы извлекаем вектор рассуждения: v_{reason} = theta_{GRPO} - theta_{SFT}. Мы предполагаем, что этот вектор фиксирует способность к рассуждению, привнесенную обучением с подкреплением, исключая общие знания, полученные в процессе SFT. При добавлении этого вектора к совместимым моделям, настроенным на выполнение инструкций, с помощью простых арифметических операций, он последовательно улучшает производительность на различных тестах логического рассуждения: GSM8K (+4.9%), HumanEval (+4.3%), SciQ (+1.7%) и BigBenchHard (+12.3% для модели на 1.5 млрд параметров). Улучшения производительности сохраняются в условиях адверсарных атак. Напротив, вычитание вектора приводит к значительному ухудшению производительности (-11.8% на GSM8K), что демонстрирует его важный вклад в способность модели к рассуждению. Эта работа показывает, как способности к рассуждению, обычно развиваемые с помощью дорогостоящего обучения, могут быть извлечены из существующих моделей с открытым исходным кодом и повторно использованы с помощью простых операций с тензорами, предлагая практический способ улучшения моделей за счет повторного использования предыдущих вычислительных затрат.

English

Large language models often require costly optimization, such as reinforcement learning, to master complex reasoning tasks. This work demonstrates that reasoning ability, once learned, can be extracted and transferred between models as a compact task vector. We source two publicly available, identically initialized Qwen2.5 models, one fine-tuned with supervised fine-tuning (SFT) and the other with group relative policy optimization (GRPO) on the same dataset. From these, we extract a reasoning vector: v_{reason} = theta_{GRPO} - theta_{SFT}. We hypothesize that this vector captures the reasoning capability instilled by reinforcement learning while factoring out shared knowledge from the SFT process. When added to compatible instruction-tuned models through simple arithmetic, this vector consistently improves performance across diverse reasoning benchmarks: GSM8K (+4.9%), HumanEval (+4.3%), SciQ (+1.7%), and BigBenchHard (+12.3% for the 1.5B model). The performance improvements persist under adversarial conditions. Conversely, subtracting the vector causes significant performance degradation (-11.8% on GSM8K), demonstrating the vector's strong contribution to the model's reasoning abilities. This work shows how reasoning capabilities, typically developed through expensive training, can be extracted from existing open-source models and reused through simple tensor arithmetic, offering a practical way to enhance models by recycling prior computational investments.