Ingegnerizzazione del Contesto per l'Affidabilità: Guida di Rescorla-Wagner in Contesti Misti e Inappropriati

Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts

September 2, 2025

Autori: Rushi Wang, Jiateng Liu, Cheng Qian, Yifan Shen, Yanzhou Pan, Zhaozhuo Xu, Ahmed Abbasi, Heng Ji, Denghui Zhang

cs.AI

Abstract

L'incorporazione di contesti esterni può migliorare significativamente la qualità delle risposte dei Large Language Models (LLM). Tuttavia, i contesti del mondo reale spesso mescolano informazioni rilevanti con contenuti inappropriati sproporzionati, ponendo rischi di affidabilità. Come elaborano e prioritizzano i LLM i contesti misti? Per studiare questo fenomeno, introduciamo il Poisoned Context Testbed, abbinando query a contesti del mondo reale contenenti sia informazioni rilevanti che contenuti inappropriati. Ispirati dall'apprendimento associativo negli animali, adattiamo il modello Rescorla-Wagner (RW) dalle neuroscienze per quantificare come segnali contestuali in competizione influenzino gli output dei LLM. Il nostro modello adattato rivela un modello comportamentale coerente: i LLM mostrano una forte tendenza a incorporare informazioni meno prevalenti nel contesto. Questa suscettibilità è dannosa in contesti reali, dove piccole quantità di contenuti inappropriati possono degradare sostanzialmente la qualità delle risposte. Valutazioni empiriche sul nostro testbed confermano ulteriormente questa vulnerabilità. Per affrontare questo problema, introduciamo RW-Steering, un approccio basato su fine-tuning in due fasi che consente al modello di identificare e ignorare internamente i segnali inappropriati. A differenza dei metodi precedenti che si basano su una supervisione estesa su miscele contestuali diverse, RW-Steering generalizza in modo robusto su diverse proporzioni di contenuti inappropriati. Gli esperimenti dimostrano che il nostro modello con il miglior fine-tuning migliora la qualità delle risposte del 39,8% e inverte la curva comportamentale indesiderata, stabilendo RW-Steering come una soluzione di ingegneria contestuale robusta e generalizzabile per migliorare la sicurezza dei LLM nell'uso reale.

English

Incorporating external context can significantly enhance the response quality of Large Language Models (LLMs). However, real-world contexts often mix relevant information with disproportionate inappropriate content, posing reliability risks. How do LLMs process and prioritize mixed context? To study this, we introduce the Poisoned Context Testbed, pairing queries with real-world contexts containing relevant and inappropriate content. Inspired by associative learning in animals, we adapt the Rescorla-Wagner (RW) model from neuroscience to quantify how competing contextual signals influence LLM outputs. Our adapted model reveals a consistent behavioral pattern: LLMs exhibit a strong tendency to incorporate information that is less prevalent in the context. This susceptibility is harmful in real-world settings, where small amounts of inappropriate content can substantially degrade response quality. Empirical evaluations on our testbed further confirm this vulnerability. To tackle this, we introduce RW-Steering, a two-stage finetuning-based approach that enables the model to internally identify and ignore inappropriate signals. Unlike prior methods that rely on extensive supervision across diverse context mixtures, RW-Steering generalizes robustly across varying proportions of inappropriate content. Experiments show that our best fine-tuned model improves response quality by 39.8% and reverses the undesirable behavior curve, establishing RW-Steering as a robust, generalizable context engineering solution for improving LLM safety in real-world use.