Ingeniería de Contexto para la Confiabilidad: Direccionamiento de Rescorla-Wagner en Contextos Mixtos e Inapropiados

Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts

September 2, 2025

Autores: Rushi Wang, Jiateng Liu, Cheng Qian, Yifan Shen, Yanzhou Pan, Zhaozhuo Xu, Ahmed Abbasi, Heng Ji, Denghui Zhang

cs.AI

Resumen

La incorporación de contexto externo puede mejorar significativamente la calidad de las respuestas de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés). Sin embargo, los contextos del mundo real a menudo mezclan información relevante con contenido inapropiado desproporcionado, lo que plantea riesgos de fiabilidad. ¿Cómo procesan y priorizan los LLMs el contexto mixto? Para estudiar esto, presentamos el Banco de Pruebas de Contexto Envenenado, que empareja consultas con contextos del mundo real que contienen información relevante y contenido inapropiado. Inspirados por el aprendizaje asociativo en animales, adaptamos el modelo Rescorla-Wagner (RW) de la neurociencia para cuantificar cómo las señales contextuales en competencia influyen en las salidas de los LLMs. Nuestro modelo adaptado revela un patrón de comportamiento consistente: los LLMs muestran una fuerte tendencia a incorporar información que es menos prevalente en el contexto. Esta susceptibilidad es perjudicial en entornos del mundo real, donde pequeñas cantidades de contenido inapropiado pueden degradar sustancialmente la calidad de las respuestas. Las evaluaciones empíricas en nuestro banco de pruebas confirman aún más esta vulnerabilidad. Para abordar esto, presentamos RW-Steering, un enfoque basado en ajuste fino en dos etapas que permite al modelo identificar y ignorar internamente las señales inapropiadas. A diferencia de métodos anteriores que dependen de una supervisión extensa en diversas mezclas de contexto, RW-Steering generaliza de manera robusta en proporciones variables de contenido inapropiado. Los experimentos muestran que nuestro mejor modelo ajustado mejora la calidad de las respuestas en un 39.8% y revierte la curva de comportamiento indeseable, estableciendo RW-Steering como una solución robusta y generalizable de ingeniería de contexto para mejorar la seguridad de los LLMs en su uso en el mundo real.

English

Incorporating external context can significantly enhance the response quality of Large Language Models (LLMs). However, real-world contexts often mix relevant information with disproportionate inappropriate content, posing reliability risks. How do LLMs process and prioritize mixed context? To study this, we introduce the Poisoned Context Testbed, pairing queries with real-world contexts containing relevant and inappropriate content. Inspired by associative learning in animals, we adapt the Rescorla-Wagner (RW) model from neuroscience to quantify how competing contextual signals influence LLM outputs. Our adapted model reveals a consistent behavioral pattern: LLMs exhibit a strong tendency to incorporate information that is less prevalent in the context. This susceptibility is harmful in real-world settings, where small amounts of inappropriate content can substantially degrade response quality. Empirical evaluations on our testbed further confirm this vulnerability. To tackle this, we introduce RW-Steering, a two-stage finetuning-based approach that enables the model to internally identify and ignore inappropriate signals. Unlike prior methods that rely on extensive supervision across diverse context mixtures, RW-Steering generalizes robustly across varying proportions of inappropriate content. Experiments show that our best fine-tuned model improves response quality by 39.8% and reverses the undesirable behavior curve, establishing RW-Steering as a robust, generalizable context engineering solution for improving LLM safety in real-world use.