KV Cache-sturing voor het Induceren van Redeneren in Kleine Taalmodellen

KV Cache Steering for Inducing Reasoning in Small Language Models

July 11, 2025

Auteurs: Max Belitsky, Dawid J. Kopiczko, Michael Dorkenwald, M. Jehanzeb Mirza, Cees G. M. Snoek, Yuki M. Asano

cs.AI

Samenvatting

Wij stellen cache steering voor, een lichtgewicht methode voor impliciete sturing van taalmodelen via een eenmalige interventie die rechtstreeks op de key-value cache wordt toegepast. Om de effectiviteit ervan te valideren, passen we cache steering toe om keten-van-gedachten-redenering te induceren in kleine taalmodelen. Onze aanpak maakt gebruik van GPT-4o-gegenereerde redeneersporen om stuurvectoren te construeren die het modelgedrag verschuiven naar meer expliciete, meerstapsredenering zonder fine-tuning of aanpassingen aan de prompt. Experimentele evaluaties op diverse redeneerbenchmarks tonen aan dat cache steering zowel de kwalitatieve structuur van modelredenering als de kwantitatieve taakprestaties verbetert. In vergelijking met eerdere activatiestuurtechnieken die continue interventies vereisen, biedt onze eenmalige cache steering aanzienlijke voordelen op het gebied van hyperparameterstabiliteit, inferentie-efficiëntie en integratiegemak, waardoor het een robuustere en praktischere oplossing is voor gecontroleerde generatie.

English

We propose cache steering, a lightweight method for implicit steering of language models via a one-shot intervention applied directly to the key-value cache. To validate its effectiveness, we apply cache steering to induce chain-of-thought reasoning in small language models. Our approach leverages GPT-4o-generated reasoning traces to construct steering vectors that shift model behavior toward more explicit, multi-step reasoning without fine-tuning or prompt modifications. Experimental evaluations on diverse reasoning benchmarks demonstrate that cache steering improves both the qualitative structure of model reasoning and quantitative task performance. Compared to prior activation steering techniques that require continuous interventions, our one-shot cache steering offers substantial advantages in terms of hyperparameter stability, inference-time efficiency, and ease of integration, making it a more robust and practical solution for controlled generation.