小型言語モデルにおける推論誘導のためのKVキャッシュステアリング

要旨

我々は、キー・バリューキャッシュに直接適用されるワンショット介入による言語モデルの暗黙的制御を実現する軽量な手法であるキャッシュステアリングを提案する。その有効性を検証するため、キャッシュステアリングを小型言語モデルに適用し、連鎖的思考推論を誘導する。本手法は、GPT-4oが生成した推論トレースを活用してステアリングベクトルを構築し、ファインチューニングやプロンプトの変更なしに、モデルの振る舞いをより明示的で多段階的な推論へとシフトさせる。多様な推論ベンチマークにおける実験的評価により、キャッシュステアリングがモデル推論の質的構造とタスク性能の量的向上の両方に寄与することが示された。従来の連続的な介入を必要とするアクティベーションステアリング技術と比較して、本手法のワンショットキャッシュステアリングは、ハイパーパラメータの安定性、推論時の効率性、統合の容易さにおいて大幅な優位性を有し、制御生成におけるより堅牢で実用的なソリューションを提供する。

English

We propose cache steering, a lightweight method for implicit steering of language models via a one-shot intervention applied directly to the key-value cache. To validate its effectiveness, we apply cache steering to induce chain-of-thought reasoning in small language models. Our approach leverages GPT-4o-generated reasoning traces to construct steering vectors that shift model behavior toward more explicit, multi-step reasoning without fine-tuning or prompt modifications. Experimental evaluations on diverse reasoning benchmarks demonstrate that cache steering improves both the qualitative structure of model reasoning and quantitative task performance. Compared to prior activation steering techniques that require continuous interventions, our one-shot cache steering offers substantial advantages in terms of hyperparameter stability, inference-time efficiency, and ease of integration, making it a more robust and practical solution for controlled generation.

小型言語モデルにおける推論誘導のためのKVキャッシュステアリング

KV Cache Steering for Inducing Reasoning in Small Language Models

要旨

Support