Direccionamiento de la Caché KV para Inducir Razonamiento en Modelos de Lenguaje Pequeños

KV Cache Steering for Inducing Reasoning in Small Language Models

July 11, 2025

Autores: Max Belitsky, Dawid J. Kopiczko, Michael Dorkenwald, M. Jehanzeb Mirza, Cees G. M. Snoek, Yuki M. Asano

cs.AI

Resumen

Proponemos la dirección de caché, un método ligero para la dirección implícita de modelos de lenguaje mediante una intervención de un solo paso aplicada directamente a la caché de clave-valor. Para validar su efectividad, aplicamos la dirección de caché para inducir razonamiento en cadena en modelos de lenguaje pequeños. Nuestro enfoque aprovecha trazas de razonamiento generadas por GPT-4o para construir vectores de dirección que modifican el comportamiento del modelo hacia un razonamiento más explícito y de múltiples pasos, sin necesidad de ajustes finos o modificaciones en las indicaciones. Las evaluaciones experimentales en diversos puntos de referencia de razonamiento demuestran que la dirección de caché mejora tanto la estructura cualitativa del razonamiento del modelo como el rendimiento cuantitativo en las tareas. En comparación con técnicas previas de dirección de activación que requieren intervenciones continuas, nuestra dirección de caché de un solo paso ofrece ventajas sustanciales en términos de estabilidad de hiperparámetros, eficiencia en tiempo de inferencia y facilidad de integración, convirtiéndola en una solución más robusta y práctica para la generación controlada.

English

We propose cache steering, a lightweight method for implicit steering of language models via a one-shot intervention applied directly to the key-value cache. To validate its effectiveness, we apply cache steering to induce chain-of-thought reasoning in small language models. Our approach leverages GPT-4o-generated reasoning traces to construct steering vectors that shift model behavior toward more explicit, multi-step reasoning without fine-tuning or prompt modifications. Experimental evaluations on diverse reasoning benchmarks demonstrate that cache steering improves both the qualitative structure of model reasoning and quantitative task performance. Compared to prior activation steering techniques that require continuous interventions, our one-shot cache steering offers substantial advantages in terms of hyperparameter stability, inference-time efficiency, and ease of integration, making it a more robust and practical solution for controlled generation.