Engenharia de Contexto para Confiabilidade: Direcionamento de Rescorla-Wagner em Contextos Mistos e Inapropriados

Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts

September 2, 2025

Autores: Rushi Wang, Jiateng Liu, Cheng Qian, Yifan Shen, Yanzhou Pan, Zhaozhuo Xu, Ahmed Abbasi, Heng Ji, Denghui Zhang

cs.AI

Resumo

A incorporação de contexto externo pode melhorar significativamente a qualidade das respostas de Modelos de Linguagem de Grande Escala (LLMs). No entanto, contextos do mundo real frequentemente misturam informações relevantes com conteúdo inadequado desproporcional, apresentando riscos de confiabilidade. Como os LLMs processam e priorizam contextos mistos? Para estudar isso, introduzimos o Testbed de Contexto Envenenado, emparelhando consultas com contextos do mundo real que contêm conteúdo relevante e inadequado. Inspirados pela aprendizagem associativa em animais, adaptamos o modelo Rescorla-Wagner (RW) da neurociência para quantificar como sinais contextuais concorrentes influenciam as saídas dos LLMs. Nosso modelo adaptado revela um padrão comportamental consistente: os LLMs exibem uma forte tendência a incorporar informações que são menos prevalentes no contexto. Essa suscetibilidade é prejudicial em cenários do mundo real, onde pequenas quantidades de conteúdo inadequado podem degradar substancialmente a qualidade da resposta. Avaliações empíricas em nosso testbed confirmam ainda mais essa vulnerabilidade. Para enfrentar esse problema, introduzimos o RW-Steering, uma abordagem baseada em ajuste fino em duas etapas que permite ao modelo identificar e ignorar internamente sinais inadequados. Diferente de métodos anteriores que dependem de supervisão extensa em diversas misturas de contexto, o RW-Steering generaliza de forma robusta em diferentes proporções de conteúdo inadequado. Experimentos mostram que nosso melhor modelo ajustado melhora a qualidade da resposta em 39,8% e reverte a curva de comportamento indesejável, estabelecendo o RW-Steering como uma solução robusta e generalizável de engenharia de contexto para melhorar a segurança dos LLMs em uso no mundo real.

English

Incorporating external context can significantly enhance the response quality of Large Language Models (LLMs). However, real-world contexts often mix relevant information with disproportionate inappropriate content, posing reliability risks. How do LLMs process and prioritize mixed context? To study this, we introduce the Poisoned Context Testbed, pairing queries with real-world contexts containing relevant and inappropriate content. Inspired by associative learning in animals, we adapt the Rescorla-Wagner (RW) model from neuroscience to quantify how competing contextual signals influence LLM outputs. Our adapted model reveals a consistent behavioral pattern: LLMs exhibit a strong tendency to incorporate information that is less prevalent in the context. This susceptibility is harmful in real-world settings, where small amounts of inappropriate content can substantially degrade response quality. Empirical evaluations on our testbed further confirm this vulnerability. To tackle this, we introduce RW-Steering, a two-stage finetuning-based approach that enables the model to internally identify and ignore inappropriate signals. Unlike prior methods that rely on extensive supervision across diverse context mixtures, RW-Steering generalizes robustly across varying proportions of inappropriate content. Experiments show that our best fine-tuned model improves response quality by 39.8% and reverses the undesirable behavior curve, establishing RW-Steering as a robust, generalizable context engineering solution for improving LLM safety in real-world use.