Kontextgestaltung für Vertrauenswürdigkeit: Rescorla-Wagner-Steuerung unter gemischten und ungeeigneten Kontexten

Context Engineering for Trustworthiness: Rescorla Wagner Steering Under Mixed and Inappropriate Contexts

September 2, 2025

papers.authors: Rushi Wang, Jiateng Liu, Cheng Qian, Yifan Shen, Yanzhou Pan, Zhaozhuo Xu, Ahmed Abbasi, Heng Ji, Denghui Zhang

cs.AI

papers.abstract

Die Einbeziehung externer Kontexte kann die Antwortqualität von Large Language Models (LLMs) erheblich verbessern. In realen Anwendungsszenarien enthalten Kontexte jedoch oft eine Mischung aus relevanten und unangemessenen Inhalten, was Zuverlässigkeitsrisiken birgt. Wie verarbeiten und priorisieren LLMs gemischte Kontexte? Um dies zu untersuchen, führen wir das Poisoned Context Testbed ein, das Anfragen mit realen Kontexten kombiniert, die sowohl relevante als auch unangemessene Inhalte enthalten. Inspiriert vom assoziativen Lernen bei Tieren, adaptieren wir das Rescorla-Wagner (RW)-Modell aus der Neurowissenschaft, um zu quantifizieren, wie konkurrierende kontextuelle Signale die Ausgaben von LLMs beeinflussen. Unser adaptiertes Modell zeigt ein konsistentes Verhaltensmuster: LLMs neigen stark dazu, Informationen zu übernehmen, die im Kontext weniger präsent sind. Diese Anfälligkeit ist in realen Anwendungen problematisch, da bereits geringe Mengen unangemessener Inhalte die Antwortqualität erheblich beeinträchtigen können. Empirische Auswertungen auf unserem Testbed bestätigen diese Schwachstelle weiter. Um dies zu adressieren, führen wir RW-Steering ein, einen zweistufigen, feinabstimmungsbasierten Ansatz, der dem Modell ermöglicht, unangemessene Signale intern zu identifizieren und zu ignorieren. Im Gegensatz zu früheren Methoden, die auf umfangreiche Überwachung über diverse Kontextmischungen angewiesen sind, generalisiert RW-Steering robust über unterschiedliche Anteile unangemessener Inhalte hinweg. Experimente zeigen, dass unser bestes feinabgestimmtes Modell die Antwortqualität um 39,8 % verbessert und das unerwünschte Verhaltensmuster umkehrt. Damit etabliert sich RW-Steering als eine robuste, generalisierbare Lösung für das Kontext-Engineering, um die Sicherheit von LLMs in realen Anwendungen zu erhöhen.

English

Incorporating external context can significantly enhance the response quality of Large Language Models (LLMs). However, real-world contexts often mix relevant information with disproportionate inappropriate content, posing reliability risks. How do LLMs process and prioritize mixed context? To study this, we introduce the Poisoned Context Testbed, pairing queries with real-world contexts containing relevant and inappropriate content. Inspired by associative learning in animals, we adapt the Rescorla-Wagner (RW) model from neuroscience to quantify how competing contextual signals influence LLM outputs. Our adapted model reveals a consistent behavioral pattern: LLMs exhibit a strong tendency to incorporate information that is less prevalent in the context. This susceptibility is harmful in real-world settings, where small amounts of inappropriate content can substantially degrade response quality. Empirical evaluations on our testbed further confirm this vulnerability. To tackle this, we introduce RW-Steering, a two-stage finetuning-based approach that enables the model to internally identify and ignore inappropriate signals. Unlike prior methods that rely on extensive supervision across diverse context mixtures, RW-Steering generalizes robustly across varying proportions of inappropriate content. Experiments show that our best fine-tuned model improves response quality by 39.8% and reverses the undesirable behavior curve, establishing RW-Steering as a robust, generalizable context engineering solution for improving LLM safety in real-world use.