Orientation du Cache KV pour Induire le Raisonnement dans les Petits Modèles de Langage

KV Cache Steering for Inducing Reasoning in Small Language Models

July 11, 2025

papers.authors: Max Belitsky, Dawid J. Kopiczko, Michael Dorkenwald, M. Jehanzeb Mirza, Cees G. M. Snoek, Yuki M. Asano

cs.AI

papers.abstract

Nous proposons le cache steering, une méthode légère pour le pilotage implicite des modèles de langage via une intervention ponctuelle appliquée directement au cache clé-valeur. Pour valider son efficacité, nous appliquons le cache steering pour induire un raisonnement en chaîne de pensée dans des modèles de langage de petite taille. Notre approche exploite des traces de raisonnement générées par GPT-4o pour construire des vecteurs de pilotage qui orientent le comportement du modèle vers un raisonnement plus explicite et multi-étapes, sans nécessiter de fine-tuning ou de modifications de l'invite. Les évaluations expérimentales sur divers benchmarks de raisonnement démontrent que le cache steering améliore à la fois la structure qualitative du raisonnement du modèle et la performance quantitative des tâches. Par rapport aux techniques antérieures de pilotage d'activation qui nécessitent des interventions continues, notre cache steering ponctuel offre des avantages substantiels en termes de stabilité des hyperparamètres, d'efficacité au moment de l'inférence et de facilité d'intégration, en faisant une solution plus robuste et pratique pour la génération contrôlée.

English

We propose cache steering, a lightweight method for implicit steering of language models via a one-shot intervention applied directly to the key-value cache. To validate its effectiveness, we apply cache steering to induce chain-of-thought reasoning in small language models. Our approach leverages GPT-4o-generated reasoning traces to construct steering vectors that shift model behavior toward more explicit, multi-step reasoning without fine-tuning or prompt modifications. Experimental evaluations on diverse reasoning benchmarks demonstrate that cache steering improves both the qualitative structure of model reasoning and quantitative task performance. Compared to prior activation steering techniques that require continuous interventions, our one-shot cache steering offers substantial advantages in terms of hyperparameter stability, inference-time efficiency, and ease of integration, making it a more robust and practical solution for controlled generation.